計算機算術
AIの推論で、重みをFP32からINT8に変換(量子化)する主な利点はどれか。
- A計算の精度がFP32より必ず高くなる
- Bデータ量が4分の1になり、速く省電力に計算できる
- C学習をやり直さなくても、モデルの性能が必ず上がる
答えと解説を見る
正解：B. データ量が4分の1になり、速く省電力に計算できる
32ビットの重みを8ビットにすると、メモリの使用量と読み出す量が4分の1になり、メモリ帯域が限られた推論で大きな効果があります。さらに、8ビットの整数の掛け算器は浮動小数点の掛け算器よりはるかに小さく省電力なので、同じ面積と電力でより多くの演算ができます。その代わり、表せる値が256通りに限られるため誤差が生じ、精度が少し下がることがあります。精度が上がったり、性能が必ず上がったりするわけではありません。
- A. 精度はむしろ少し下がることがあります。
- B. 正しい。データ量が4分の1になり、小さな整数の回路で計算できます。
- C. 性能が必ず上がるわけではありません。