AIハードウェアとソフトウェアスタック
パラメータ数70億(7B)のモデルを、重み・勾配・Adamの2つの状態をすべてFP32(4バイト)で持って学習する。活性化を除いて必要なメモリに最も近いものはどれか。
- A約28 GB
- B約112 GB
- C約14 GB
答えと解説を見る
正解：B. 約112 GB
1パラメータあたり、重み4バイト、勾配4バイト、Adamの1次と2次の移動平均4バイトずつで、合計16バイトです。70億×16バイト=1120億バイトで約112 GBになり、これに活性化のメモリが加わります。1枚のGPUのメモリには収まらないことが多いので、オプティマイザの状態を複数のGPUに分けて持つ、低い精度で持つなどの工夫が使われます。
- A. これは重みだけの量です。
- B. 正しい。1パラメータあたり16バイトです。
- C. これはFP16の重みだけの量です。