電腦算術
在AI的混合精度訓練中，大部分計算以FP16或bfloat16進行，同時以FP32保存權重的原始值（主權重，master weights），其主要理由為下列何者？
- A在將微小的更新量加到權重時，精度較低的格式會因資訊遺失而使更新消失
- B因為FP32比FP16計算更快，所以權重的計算全部交給FP32
- C因為規定FP16或bfloat16無法將權重的值儲存到記憶體中
查看答案與解析
正確答案：A. 在將微小的更新量加到權重時，精度較低的格式會因資訊遺失而使更新消失
在訓練中，會對權重反覆加上「學習率 × 梯度」這種非常小的值。FP16或bfloat16的尾數較短，若更新量相對於權重過小，相加的結果會因捨入而仍是原本的權重，使更新消失（資訊遺失）。因此權重以FP32保存，以正確累積更新，而前向與反向的計算則使用轉換為較低精度的副本。就計算速度而言是較低的精度比較快，而且較低精度的值也能儲存。
- A. 正確。為了防止微小的更新因資訊遺失而消失。
- B. 就計算而言是較低的精度比較快。
- C. 較低精度的值也能儲存在記憶體中。