計算機算術
FP8の2つの形式、E4M3(指数部4・仮数3ビット)とE5M2(指数部5・仮数2ビット)の使い分けとして一般的なものはどれか。
- A重みや活性化にE4M3、勾配にE5M2を使う
- Bどちらも同じ精度と範囲なので、区別せずに使う
- CE4M3は整数、E5M2は浮動小数点として使う
答えと解説を見る
正解：A. 重みや活性化にE4M3、勾配にE5M2を使う
8ビットという限られたビットを、指数部と仮数にどう分けるかで性質が変わります。E4M3は仮数が1ビット多く精度が高い代わりに範囲が狭く、E5M2は指数部が1ビット多く範囲が広い代わりに精度が低くなります。そのため、値の大きさがある程度そろっている重みや活性化にはE4M3、値の大きさが大きくばらつく勾配にはE5M2を使うのが一般的です。どちらも浮動小数点の形式で、整数ではありません。
- A. 正しい。精度のE4M3と範囲のE5M2を使い分けます。
- B. 指数部と仮数の配分が違い、精度と範囲が異なります。
- C. どちらも浮動小数点の形式です。