Arithmétique des ordinateurs
Quelle répartition des deux formats FP8, E4M3 (4 bits d'exposant, 3 de mantisse) et E5M2 (5 bits d'exposant, 2 de mantisse), est courante ?
- AE4M3 pour les poids et activations, E5M2 pour les gradients
- BLes deux ont même précision et même plage et s'utilisent indifféremment
- CE4M3 sert d'entier et E5M2 de flottant
Afficher la réponse et l'explication
Réponse : A. E4M3 pour les poids et activations, E5M2 pour les gradients
Avec seulement 8 bits, les propriétés dépendent de la répartition entre exposant et mantisse. E4M3 a un bit de mantisse de plus, donc une meilleure précision mais une plage plus étroite ; E5M2 a un bit d'exposant de plus, donc une plage plus large mais une précision plus faible. On utilise donc généralement E4M3 pour les poids et activations, dont l'ordre de grandeur est relativement homogène, et E5M2 pour les gradients, dont l'ordre de grandeur varie fortement. Les deux sont des formats flottants, non entiers.
Continuer : 9 autres questions sur Arithmétique des ordinateurs