電腦算術
在AI推論中，將權重從FP32轉換（量化）為INT8的主要優點為下列何者？
- A計算精度必定比FP32更高
- B資料量變為4分之1，能更快速且省電地計算
- C即使不重新訓練，模型的效能也必定提升
查看答案與解析
正確答案：B. 資料量變為4分之1，能更快速且省電地計算
將32位元的權重改為8位元，記憶體使用量與讀取量會變為4分之1，對於記憶體頻寬受限的推論有很大的效果。此外，8位元整數的乘法器遠比浮點數乘法器小且省電，因此在相同的面積與功耗下能進行更多運算。代價是可表示的值被限制為256種，因而產生誤差，精度可能略微下降。精度並不會提升，效能也不一定會提升。
- A. 精度反而可能略微下降。
- B. 正確。資料量變為4分之1，並能以小型整數電路計算。
- C. 效能並不一定會提升。