Was ist bfloat16?

Ein 16-Bit-Gleitkommaformat mit 1 Vorzeichen-, 8 Exponenten- und 7 Mantissenbits. Durch die gleiche Exponentenbreite wie FP32 hat es einen großen Wertebereich und wird trotz geringer Genauigkeit für das KI-Training genutzt. FP16 mit 5 Exponenten- und 10 Mantissenbits ist genauer, hat aber einen engen Bereich.

Japanische Bezeichnung: bfloat16