Arithmétique des ordinateurs

Quelle répartition des deux formats FP8, E4M3 (4 bits d'exposant, 3 de mantisse) et E5M2 (5 bits d'exposant, 2 de mantisse), est courante ?

  1. AE4M3 pour les poids et activations, E5M2 pour les gradients
  2. BLes deux ont même précision et même plage et s'utilisent indifféremment
  3. CE4M3 sert d'entier et E5M2 de flottant
Afficher la réponse et l'explication

Réponse : A. E4M3 pour les poids et activations, E5M2 pour les gradients

Avec seulement 8 bits, les propriétés dépendent de la répartition entre exposant et mantisse. E4M3 a un bit de mantisse de plus, donc une meilleure précision mais une plage plus étroite ; E5M2 a un bit d'exposant de plus, donc une plage plus large mais une précision plus faible. On utilise donc généralement E4M3 pour les poids et activations, dont l'ordre de grandeur est relativement homogène, et E5M2 pour les gradients, dont l'ordre de grandeur varie fortement. Les deux sont des formats flottants, non entiers.

S'entraîner sur ce thème Retour au thème

Autres questions sur Arithmétique des ordinateurs

  1. En inférence d'IA, quel est le principal avantage de la conversion (quantification) des poids de FP32 en INT8 ?
  2. Des données comprises entre −6.35 et 6.35 sont quantifiées en INT8 symétrique centré sur 0 (−127 à 127). Si l'échelle vaut « valeur absolue maximale ÷ 127 », par quel entier 1.0 est-il représenté ?
  3. Quelle est la principale raison pour laquelle les petits microcontrôleurs et DSP utilisent souvent l'arithmétique en virgule fixe plutôt qu'en virgule flottante ?
  4. Quelle combinaison du pas (résolution) et de la plage du format Q15 (virgule fixe signée sur 16 bits, 15 bits fractionnaires) est correcte ?
  5. Lorsque deux nombres en virgule fixe à 8 bits fractionnaires sont multipliés par un multiplieur entier, comment le résultat doit-il être traité ?