AIハードウェアとソフトウェアスタック

FP16で約14 GBの重みを持つモデルを、メモリ帯域2 TB/sのGPUでバッチサイズ1でデコードする。1トークンの生成にかかる時間の下限に最も近いものはどれか。

  1. A約7 µs
  2. B約7 s
  3. C約7 ms
答えと解説を見る

正解：C. 約7 ms

デコードでは1トークンごとにすべての重みを読み込む必要があるので、少なくとも重みの大きさ÷メモリ帯域の時間がかかります。14 GB÷2 TB/s=0.007秒=7 msで、1秒あたり最大でおよそ140トークンです。重みを4ビットに量子化して約3.5 GBにすれば、この下限は約1.75 msになります。デコードで重みの量子化が特に効くのはこのためです。

  • A. 単位を1000倍取り違えています。
  • B. 単位を1000倍取り違えています。
  • C. 正しい。14 GB÷2 TB/s=7 msです。
この分野を解く 分野ページへ

AIハードウェアとソフトウェアスタックのほかの問題

  1. Transformerのセルフアテンションの計算量が、入力の系列の長さnに対してどのように増えるか。
  2. FlashAttentionなどの高速なアテンションの実装の主な考え方として正しいものはどれか。
  3. AIの計算で使われる「演算の融合(オペレータフュージョン)」の主な目的はどれか。
  4. 行列の積の結果にバイアスを足し、ReLUを通す処理を、3つの別々のカーネルから1つに融合した。主に減るものはどれか。
  5. XLAやTVM、PyTorchのコンパイル機能のようなAIコンパイラが行う主な処理として正しいものはどれか。