在大型語言模型的量化中，若只有極少數通道存在很大的離群值，精度容易下降。下列何者是常見的對策？

正確答案：C. 不是整個張量使用一個縮放比例，而是依通道或依小群組各自持有縮放比例

若以一個縮放比例量化整個張量，範圍會被極少數的大離群值拉寬，使其他大多數的小數值只能以很少的階數表示。若依通道或依每64～128個元素的群組各自持有縮放比例，離群值的影響就只侷限在該群組之內。此外也會採用先將離群值移到權重一側再量化的方法等其他做法。

• A. 必要的資訊會流失，使精度大幅下降。
• B. 減少位元數會使精度進一步下降。
• C. 正確。將離群值的影響限制在該範圍內。