電腦算術
bfloat16主要被用於AI訓練的理由為下列何者？
- A因為指數部分與FP32相同為8位元，可表示的數值範圍廣
- B因為尾數部分比FP32長，精度高
- C因為可以用整數運算來計算
查看答案與解析
正確答案：A. 因為指數部分與FP32相同為8位元，可表示的數值範圍廣
bfloat16是由符號1位元、指數部分8位元、尾數部分7位元構成的16位元格式。由於指數部分與FP32相同，可表示的範圍幾乎一樣，即使是訓練中梯度這類非常小或非常大的值，也不易發生溢位或下溢，從FP32模型轉換過來也很簡單。精度雖然較低，但訓練對些許誤差有一定的容忍度，因此不易成為問題，並且能將資料量與運算單元的面積減半。尾數部分比FP32短，而且是以浮點數而非整數的運算來計算。
- A. 正確。因為指數部分與FP32相同，範圍廣。
- B. 尾數部分是比FP32的23位元更短的7位元。
- C. 是以浮點數而非整數的運算來計算。