什麼是FP8
8位元的浮點格式。有指數4位元、有效數3位元的E4M3，以及指數5位元、有效數2位元的E5M2，可視精度與範圍分別使用。用於讓AI的訓練與推論更快、更省電。
日文名稱: FP8
「FP8」出現在2領域的2道練習題中（電腦算術, GPU程式設計等）。
這個名詞所屬的領域: 電腦算術
練習FP8的題目
關於FP8的兩種格式E4M3（指數部分4・尾數3位元）與E5M2（指數部分5・尾數2位元）的使用區分，下列何者是一般作法？
- A權重與激活值使用E4M3，梯度使用E5M2
- B兩者精度與範圍相同，因此不加區分地使用
- CE4M3當作整數使用，E5M2當作浮點數使用
查看答案與解析
正確答案：A. 權重與激活值使用E4M3，梯度使用E5M2
在8位元這個有限的位元中，如何分配給指數部分與尾數，會改變其性質。E4M3的尾數多1位元，精度較高，但範圍較窄；E5M2的指數部分多1位元，範圍較廣，但精度較低。因此一般的作法是：對於大小大致整齊的權重與激活值使用E4M3，對於大小差異很大的梯度則使用E5M2。兩者都是浮點數格式，並非整數。
解析中的「FP8」
多半以FP16、BF16、FP8、INT8等低精度使用，能大幅加快佔神經網路訓練與推論大部分的矩陣乘積。
關於近年GPU所搭載的張量核心（Tensor Core，矩陣運算單元）的特徵，下列何者正確？
出現「FP8」的題目（2題）
相關名詞
GPU 張量核心（Tensor core） INT8 布斯演算法(Booth's algorithm) 先行進位加法器 有效位數損失(Catastrophic cancellation) 有效數(Significand) 定點數 非正規化數 指數欄位