在大型語言模型的推論中，啟動值維持FP16、只把權重轉為4位元的量化（W4A16），對加速解碼特別有效，其原因下列何者正確？

正確答案：B. 因為解碼受記憶體限制，所以權重讀取量降為四分之一的效果會直接反映在速度上

解碼是每個token都要讀取全部權重、速度由記憶體頻寬決定的處理。只要把權重轉為4位元，讀取的量就變為四分之一，即使在晶片內部先還原為FP16再計算，整體時間仍會大幅縮短。對受運算限制的預填充而言，這個效果很小，以較低精度進行計算本身的量化更為有效。依據哪裡是限制因素，有效的量化方法也會不同。

• A. 精度會變低。
• B. 正確。即使把計算還原為FP16進行，讀取量仍會減少。
• C. 運算次數不會改變。