bfloat16とは
びーふろーとじゅうろく
符号1ビット、指数8ビット、仮数7ビットの16ビットの浮動小数点の形式。指数がFP32と同じなので表せる範囲が広く、精度は低いがAIの学習で使われる。FP16は指数5ビット・仮数10ビットで、精度は高いが範囲が狭い。
この用語の分野: 計算機算術
解説の中の「bfloat16」
bfloat16は符号1ビット、指数部8ビット、仮数部7ビットの16ビット形式です。
bfloat16がAIの学習で使われる主な理由はどれか。FP16やbfloat16は仮数が短く、重みに比べて更新量が小さすぎると、足した結果が丸めで元の重みのままになり、更新が消えてしまいます(情報落ち)。
AIの混合精度の学習で、計算の多くをFP16やbfloat16で行いながら、重みの元の値(マスターウェイト)をFP32…
「bfloat16」が出てくる問題(2問)
関連する用語
仮数 指数部 混合精度 情報落ち IEEE 754 INT8 ウォレスツリー FMA(融合積和演算) FP8 桁上げ先見加算器