AIハードウェアとソフトウェアスタック

Transformerのモデルの学習に必要な演算の数の目安として、パラメータ数をN、学習に使うトークンの数をDとしたとき、よく使われる近似はどれか。

  1. A約2ND
  2. B約N+D
  3. C約6ND
答えと解説を見る

正解：C. 約6ND

1トークンの順伝播には、各パラメータについて掛け算と足し算が1回ずつで約2N回の演算が必要です。逆伝播はその約2倍の4N回なので、1トークンの学習で約6N回、Dトークンでは約6ND回になります。例えば70億パラメータのモデルを1兆トークンで学習すると、約4.2×10²²回の演算です。これをGPUの実効性能で割れば、学習にかかる時間の見当がつきます。

  • A. 2NDは順伝播(推論)だけの量です。
  • B. 演算の数は掛け算で増えます。
  • C. 正しい。順伝播2NDと逆伝播4NDの合計です。
この分野を解く 分野ページへ

AIハードウェアとソフトウェアスタックのほかの問題

  1. パラメータ数Nの大規模言語モデルで、1トークンを生成する推論に必要な演算の数の目安はどれか(アテンションの部分を除く)。
  2. ソフトマックス関数exp(xi)/Σexp(xj)を計算するとき、各xiから最大値を引いてから計算することが多い理由として正しいものはどれか。
  3. 大規模言語モデルの推論を速くする「投機的デコーディング」の考え方として正しいものはどれか。
  4. 推薦システムのモデルなどで使われる大きな埋め込み表(エンベディングテーブル)の表引きが、AIのハードウェアで扱いにくい理由として正しいものはどれか。
  5. AIのソフトウェアスタックを、利用者に近い上の層からハードウェアに近い下の層へ並べたものとして正しいものはどれか。