AIハードウェアとソフトウェアスタック

ニューロモーフィックコンピューティングで動かすスパイキングニューラルネットワーク(SNN)を、通常のニューラルネットワークの誤差逆伝播法でそのまま学習させにくい主な理由として正しいものはどれか。

  1. ASNNには重みがないから
  2. Bスパイクの発生は、しきい値を超えたかどうかで決まる不連続な動作で、微分できないから
  3. CSNNは推論しかできず、学習という概念がないから
答えと解説を見る

正解:B. スパイクの発生は、しきい値を超えたかどうかで決まる不連続な動作で、微分できないから

SNNの各ニューロンは、入力されたスパイクを膜電位として積み上げ、しきい値を超えるとスパイクを出します。この出力は0か1かが不連続に切り替わるため、誤差逆伝播法に必要な勾配が、ほとんどの点で0になるか定義できません。そこで、学習のときだけスパイクの関数をなめらかな関数で近似した勾配を使う方法や、通常のネットワークで学習してからSNNに変換する方法が研究されています。学習方法の確立は、ニューロモーフィックコンピューティングの課題の一つです。

  • A. SNNにもシナプスの重みがあり、それを学習します。
  • B. 正しい。不連続な発火が勾配の計算を難しくします。
  • C. SNNも学習できますが、方法に工夫が必要です。
この分野を解く 分野ページへ

関連する計算ツール

AIハードウェアとソフトウェアスタックの参考書を探す PR

Amazonの検索結果へのリンクです。Amazonのアソシエイトとして、半導体教室は適格販売により収入を得ています。

AIハードウェアとソフトウェアスタックのほかの問題

  1. ニューラルネットワークの「学習」と「推論」の違いとして正しいものはどれか。
  2. 学習に必要なメモリが、同じモデルの推論よりずっと大きくなる理由として当てはまらないものはどれか。
  3. パラメータ数70億(7B)のモデルを、重み・勾配・Adamの2つの状態をすべてFP32(4バイト)で持って学習する。活性化を除いて必要なメモリに最も近いものはどれか。
  4. パラメータ数70億(7B)のモデルの重みをFP16(2バイト)で持つと、重みのメモリはおよそいくらか。
  5. 前の問いの7BのモデルをFP16(約14 GB)から4ビットの整数(INT4)に量子化すると、重みのメモリはおよそいくらになるか。

この分野の比較