逆伝播とは

ぎゃくでんぱ

ニューラルネットワークの学習で、出力と正解の誤差を出力側から入力側へさかのぼって伝え、各重みの勾配を求める計算。バックプロパゲーション。

この用語の分野: AIハードウェアとソフトウェアスタック

解説の中の「逆伝播」

「逆伝播」が出てくる問題(8問)

  1. FP16(半精度:符号1・指数部5・仮数10ビット)でニューラルネットワークを学習させるときに問題になりやすく、損失の値を何倍かに拡大して計算する工夫(ロススケーリング)で対策するのはどれか。
  2. ニューラルネットワークの「学習」と「推論」の違いとして正しいものはどれか。
  3. 学習に必要なメモリが、同じモデルの推論よりずっと大きくなる理由として当てはまらないものはどれか。
  4. AIのフレームワークやコンパイラで使われる「計算グラフ」の説明として正しいものはどれか。
  5. TensorRTやONNX Runtimeのような推論ランタイムが、学習用のフレームワークでそのまま推論するより速くできる主な理由はどれか。
  6. 複数のGPUで学習するデータ並列の説明として正しいものはどれか。
  7. 学習で使われる勾配チェックポイント(活性化の再計算)の説明として正しいものはどれか。
  8. Transformerのモデルの学習に必要な演算の数の目安として、パラメータ数をN、学習に使うトークンの数をDとしたとき、よく使われる近似はどれか。

関連する用語

GPU 推論 指数部 非正規化数 仮数 計算グラフ ONNX 推論ランタイム NPU(ニューラルプロセッシングユニット) データ並列

用語集の一覧へ