AIハードウェアとソフトウェアスタック
大規模言語モデルの推論で、活性化はFP16のまま重みだけを4ビットにする(W4A16)量子化が、デコードを特に速くする理由として正しいものはどれか。
- A4ビットの掛け算は16ビットの掛け算より正確だから
- Bデコードはメモリ律速なので、重みの読み込みの量が4分の1になる効果がそのまま速さに表れるから
- C活性化をFP16にすると、演算の回数が減るから
答えと解説を見る
正解：B. デコードはメモリ律速なので、重みの読み込みの量が4分の1になる効果がそのまま速さに表れるから
デコードは1トークンごとに全部の重みを読む、メモリの帯域で速さが決まる処理です。重みを4ビットにすれば読み込む量が4分の1になり、チップの中でFP16に戻してから計算しても、全体の時間は大きく短くなります。演算律速のプリフィルではこの効果は小さく、計算そのものを低い精度で行う量子化の方が効きます。どこが律速かで、有効な量子化の方法が変わります。
- A. 精度は低くなります。
- B. 正しい。計算はFP16に戻して行っても、読み込みが減ります。
- C. 演算の回数は変わりません。