什麼是bfloat16

正確答案：A. 因為指數部分與FP32相同為8位元，可表示的數值範圍廣

bfloat16是由符號1位元、指數部分8位元、尾數部分7位元構成的16位元格式。由於指數部分與FP32相同，可表示的範圍幾乎一樣，即使是訓練中梯度這類非常小或非常大的值，也不易發生溢位或下溢，從FP32模型轉換過來也很簡單。精度雖然較低，但訓練對些許誤差有一定的容忍度，因此不易成為問題，並且能將資料量與運算單元的面積減半。尾數部分比FP32短，而且是以浮點數而非整數的運算來計算。

正確答案：A. 在將微小的更新量加到權重時，精度較低的格式會因資訊遺失而使更新消失

在訓練中，會對權重反覆加上「學習率 × 梯度」這種非常小的值。FP16或bfloat16的尾數較短，若更新量相對於權重過小，相加的結果會因捨入而仍是原本的權重，使更新消失（資訊遺失）。因此權重以FP32保存，以正確累積更新，而前向與反向的計算則使用轉換為較低精度的副本。就計算速度而言是較低的精度比較快，而且較低精度的值也能儲存。