AIハードウェアとソフトウェアスタック

推論でバッチサイズを大きくしすぎたときの欠点として正しいものはどれか。

  1. Aまとめる入力がそろうのを待つ時間や1回の処理の時間が増えて、1つの要求の応答が遅くなり、メモリも多く使う
  2. B重みの値が変わって、答えが不正確になる
  3. C演算強度が下がって、効率が悪くなる
答えと解説を見る

正解：A. まとめる入力がそろうのを待つ時間や1回の処理の時間が増えて、1つの要求の応答が遅くなり、メモリも多く使う

バッチを大きくすると全体の処理量(スループット)は上がりますが、ほかの入力が集まるまで待ったり、まとめた分だけ1回の計算が長くなったりするので、1つの要求が返るまでの時間(レイテンシ)は長くなります。途中の結果やKVキャッシュのメモリもバッチに比例して増えます。対話のアプリケーションでは、応答の速さの目標を守れる範囲でバッチを大きくします。

  • A. 正しい。処理量と応答の速さの釣り合いが必要です。
  • B. 重みは変わりません。
  • C. 演算強度はむしろ上がります。
この分野を解く 分野ページへ

AIハードウェアとソフトウェアスタックのほかの問題

  1. 大規模言語モデルの推論は、入力の文章をまとめて処理する段階(プリフィル)と、1トークンずつ出力を作る段階(デコード)に分かれる。それぞれの性能を主に決めるものの組み合わせとして正しいものはどれか(バッチが小さい場合)。
  2. 大規模言語モデルの推論で使われるKVキャッシュの役割として正しいものはどれか。
  3. 大規模言語モデルの推論で、長い文章や大きなバッチを扱うときに問題になりやすいことはどれか。
  4. FP16で約14 GBの重みを持つモデルを、メモリ帯域2 TB/sのGPUでバッチサイズ1でデコードする。1トークンの生成にかかる時間の下限に最も近いものはどれか。
  5. Transformerのセルフアテンションの計算量が、入力の系列の長さnに対してどのように増えるか。