Français
Menu

Arithmétique des ordinateurs

Quelle est la principale raison de l'emploi de bfloat16 pour l'entraînement en IA ?

  1. ASon exposant de 8 bits, identique à celui de FP32, offre une large plage de valeurs représentables
  2. BSa mantisse est plus longue que celle de FP32 et sa précision plus élevée
  3. CIl permet de calculer avec des opérations entières
Afficher la réponse et l'explication

Réponse : A. Son exposant de 8 bits, identique à celui de FP32, offre une large plage de valeurs représentables

bfloat16 est un format 16 bits comportant 1 bit de signe, 8 bits d'exposant et 7 bits de mantisse. Son exposant étant identique à celui de FP32, sa plage est quasiment la même : les valeurs très petites ou très grandes, comme les gradients d'entraînement, provoquent rarement dépassement ou soupassement de capacité, et la conversion depuis un modèle FP32 est simple. Sa précision est faible, mais l'entraînement tolère bien de petites erreurs, et le volume de données comme la surface des opérateurs sont divisés par deux. Sa mantisse est plus courte que celle de FP32, et le calcul se fait en virgule flottante, non en entiers.

S'entraîner sur ce thème Retour au thème

Autres questions sur Arithmétique des ordinateurs

  1. Lors de l'entraînement d'un réseau de neurones en FP16 (demi-précision : 1 bit de signe, 5 d'exposant, 10 de mantisse), quel problème survient fréquemment et se traite en multipliant la perte par un facteur (loss scaling) ?
  2. Quelle est la plus grande valeur finie représentable en FP16 (1 bit de signe, 5 bits d'exposant (biais 15), 10 bits de mantisse) ?
  3. Quelle répartition des deux formats FP8, E4M3 (4 bits d'exposant, 3 de mantisse) et E5M2 (5 bits d'exposant, 2 de mantisse), est courante ?
  4. En inférence d'IA, quel est le principal avantage de la conversion (quantification) des poids de FP32 en INT8 ?
  5. Des données comprises entre −6.35 et 6.35 sont quantifiées en INT8 symétrique centré sur 0 (−127 à 127). Si l'échelle vaut « valeur absolue maximale ÷ 127 », par quel entier 1.0 est-il représenté ?