演算強度とは

えんざんきょうど

処理の演算の回数を、メモリから読み書きするバイト数で割った値。大きいほど演算律速、小さいほどメモリ律速になりやすい。

この用語の分野: AIハードウェアとソフトウェアスタック

解説の中の「演算強度」

「演算強度」が出てくる問題(8問)

  1. プログラムの性能が、演算性能とメモリ帯域のどちらで制限されるかを、演算強度(1バイトあたりの演算数)を横軸にして図示するモデルはどれか。
  2. N×NのFP16(2バイト)の行列どうしの積で、2つの入力を1回ずつ読み、結果を1回書くとする。演算強度(1バイトあたりの演算数)はおよそいくらか。
  3. ピーク性能100 TFLOPS、メモリ帯域2 TB/sのアクセラレータで、演算強度が10 FLOP/バイトの処理を実行する。Rooflineモデルで見積もった達成できる性能はいくらか。
  4. 入力が1つだけ(バッチサイズ1)のとき、全結合層の計算(重みの行列とベクトルの積)がメモリ律速になりやすい理由として正しいものはどれか。
  5. 推論でバッチサイズ(まとめて処理する入力の数)を大きくすると、処理全体の効率が上がりやすい理由はどれか。
  6. 大規模言語モデルの推論は、入力の文章をまとめて処理する段階(プリフィル)と、1トークンずつ出力を作る段階(デコード)に分かれる。それぞれの性能を主に決めるものの組み合わせとして正しいものはどれか(バッチが小さい場合)。
  7. ReLUやレイヤー正規化のような要素ごとの演算が、AIの計算の中で演算の回数の割に時間がかかりやすい理由として正しいものはどれか。
  8. Rooflineモデルで、ある処理がメモリ帯域で制限される領域にあると分かったとき、性能を上げる方向として正しいものはどれか。

関連する用語

Rooflineモデル 推論 バッチサイズ GPU プリフィル 演算の融合 アテンション AIコンパイラ MFU オールリデュース

用語集の一覧へ