AIハードウェアとソフトウェアスタック

パラメータ数70億(7B)のモデルの重みをFP16(2バイト)で持つと、重みのメモリはおよそいくらか。

  1. A約14 GB
  2. B約7 GB
  3. C約28 GB
答えと解説を見る

正解：A. 約14 GB

重みのメモリは、パラメータの数×1つあたりのバイト数で求められます。70億×2バイト=140億バイトで、約14 GBです。推論ではこのほかに、途中の結果や大規模言語モデルのKVキャッシュのメモリも必要です。どの機器やGPUでモデルを動かせるかは、まずこの計算で見当をつけます。

  • A. 正しい。70億×2バイトです。
  • B. 1パラメータ1バイト(INT8)の場合の値です。
  • C. FP32(4バイト)の場合の値です。
この分野を解く 分野ページへ

AIハードウェアとソフトウェアスタックのほかの問題

  1. 前の問いの7BのモデルをFP16(約14 GB)から4ビットの整数(INT4)に量子化すると、重みのメモリはおよそいくらになるか。
  2. M×Kの行列とK×Nの行列の積を計算するときの浮動小数点の演算回数(掛け算と足し算を別々に数える)はおよそいくらか。
  3. N×NのFP16(2バイト)の行列どうしの積で、2つの入力を1回ずつ読み、結果を1回書くとする。演算強度(1バイトあたりの演算数)はおよそいくらか。
  4. ピーク性能100 TFLOPS、メモリ帯域2 TB/sのアクセラレータで、演算強度が10 FLOP/バイトの処理を実行する。Rooflineモデルで見積もった達成できる性能はいくらか。
  5. 入力が1つだけ(バッチサイズ1)のとき、全結合層の計算(重みの行列とベクトルの積)がメモリ律速になりやすい理由として正しいものはどれか。