Qu'est-ce que bfloat16 ?

Réponse : A. Son exposant de 8 bits, identique à celui de FP32, offre une large plage de valeurs représentables

bfloat16 est un format 16 bits comportant 1 bit de signe, 8 bits d'exposant et 7 bits de mantisse. Son exposant étant identique à celui de FP32, sa plage est quasiment la même : les valeurs très petites ou très grandes, comme les gradients d'entraînement, provoquent rarement dépassement ou soupassement de capacité, et la conversion depuis un modèle FP32 est simple. Sa précision est faible, mais l'entraînement tolère bien de petites erreurs, et le volume de données comme la surface des opérateurs sont divisés par deux. Sa mantisse est plus courte que celle de FP32, et le calcul se fait en virgule flottante, non en entiers.

Réponse : A. Parce que l'ajout de petites mises à jour aux poids dans un format peu précis les fait disparaître par absorption

L'entraînement ajoute de nombreuses fois aux poids des valeurs très petites, « taux d'apprentissage × gradient ». FP16 et bfloat16 ont une mantisse courte : si la mise à jour est trop petite par rapport au poids, la somme est arrondie au poids initial et la mise à jour disparaît (absorption). Les poids sont donc conservés en FP32 pour accumuler correctement les mises à jour, et des copies converties en basse précision servent aux passes avant et arrière. Le calcul est plus rapide en basse précision, et les valeurs basse précision peuvent aussi être enregistrées.