AIハードウェアとソフトウェアスタック

ピーク性能100 TFLOPS、メモリ帯域2 TB/sのアクセラレータで、演算強度が10 FLOP/バイトの処理を実行する。Rooflineモデルで見積もった達成できる性能はいくらか。

  1. A100 TFLOPS(演算律速)
  2. B20 TFLOPS(メモリ律速)
  3. C10 TFLOPS(メモリ律速)
答えと解説を見る

正解：B. 20 TFLOPS(メモリ律速)

Rooflineモデルでは、達成できる性能は「ピーク性能」と「帯域×演算強度」の小さい方です。2 TB/s×10 FLOP/バイト=20 TFLOPSで、ピークの100より小さいので、この処理はメモリ律速で20 TFLOPSが上限です。ピーク÷帯域=50 FLOP/バイトが境目(リッジポイント)で、これより演算強度が高い処理だけがピーク性能に届きます。

  • A. 演算強度が50未満なのでピークには届きません。
  • B. 正しい。2 TB/s×10=20 TFLOPSです。
  • C. 帯域を1 TB/sとして計算しています。
この分野を解く 分野ページへ

AIハードウェアとソフトウェアスタックのほかの問題

  1. 入力が1つだけ(バッチサイズ1)のとき、全結合層の計算(重みの行列とベクトルの積)がメモリ律速になりやすい理由として正しいものはどれか。
  2. 推論でバッチサイズ(まとめて処理する入力の数)を大きくすると、処理全体の効率が上がりやすい理由はどれか。
  3. 推論でバッチサイズを大きくしすぎたときの欠点として正しいものはどれか。
  4. 大規模言語モデルの推論は、入力の文章をまとめて処理する段階(プリフィル)と、1トークンずつ出力を作る段階(デコード)に分かれる。それぞれの性能を主に決めるものの組み合わせとして正しいものはどれか(バッチが小さい場合)。
  5. 大規模言語モデルの推論で使われるKVキャッシュの役割として正しいものはどれか。