AIハードウェアとソフトウェアスタック
前の問いの7BのモデルをFP16(約14 GB)から4ビットの整数(INT4)に量子化すると、重みのメモリはおよそいくらになるか。
- A約7 GB
- B約1.75 GB
- C約3.5 GB
答えと解説を見る
正解：C. 約3.5 GB
1パラメータが16ビットから4ビットになるので、メモリは4分の1の約3.5 GBです(実際には量子化のスケールなどの情報が少し加わります)。メモリが小さくなるので、パソコンやスマートフォンでも大きなモデルを動かせるようになり、またメモリから読み込む量が減るので推論も速くなります。精度の低下を小さくする工夫が重要になります。
- A. これはINT8(8ビット)の場合です。
- B. これは2ビットの場合です。
- C. 正しい。16ビットから4ビットで4分の1です。