AIハードウェアとソフトウェアスタック

大規模な学習の効率を表す指標のMFU(Model FLOPs Utilization)の説明として正しいものはどれか。

  1. Aモデルの計算に必要な演算の数から求めた実際の演算性能が、ハードウェアのピーク性能の何%にあたるか
  2. Bモデルの重みのうち、0でないものの割合
  3. CGPUのメモリのうち、使われている割合
答えと解説を見る

正解：A. モデルの計算に必要な演算の数から求めた実際の演算性能が、ハードウェアのピーク性能の何%にあたるか

MFUは、1秒あたりに処理したトークンの数とモデルに必要な演算の数から実際に行った有用な計算の速さを求め、それをGPUのピーク性能で割った値です。通信の待ち、メモリ律速の演算、パイプラインのバブル、再計算などがあると下がります。どれだけハードウェアを生かせているかが分かるので、学習の設定やソフトウェアの改善の目安になります。

  • A. 正しい。大規模な学習では40〜60%程度でも良い値とされます。
  • B. スパースの割合とは別のものです。
  • C. メモリの使用率ではありません。
この分野を解く 分野ページへ

AIハードウェアとソフトウェアスタックのほかの問題

  1. Transformerのモデルの学習に必要な演算の数の目安として、パラメータ数をN、学習に使うトークンの数をDとしたとき、よく使われる近似はどれか。
  2. パラメータ数Nの大規模言語モデルで、1トークンを生成する推論に必要な演算の数の目安はどれか(アテンションの部分を除く)。
  3. ソフトマックス関数exp(xi)/Σexp(xj)を計算するとき、各xiから最大値を引いてから計算することが多い理由として正しいものはどれか。
  4. 大規模言語モデルの推論を速くする「投機的デコーディング」の考え方として正しいものはどれか。
  5. 推薦システムのモデルなどで使われる大きな埋め込み表(エンベディングテーブル)の表引きが、AIのハードウェアで扱いにくい理由として正しいものはどれか。