Format à virgule flottante sur 8 bits. Il existe E4M3 (exposant 4 bits, mantisse 3 bits) et E5M2 (exposant 5 bits, mantisse 2 bits), choisis selon le besoin de précision ou de plage. Utilisé pour accélérer et rendre plus économes l'entraînement et l'inférence en IA.
Nom japonais: FP8
« FP8 » apparaît dans 2 questions d'entraînement réparties sur 2 thèmes, dont Arithmétique des ordinateurs, Programmation GPU.
Domaine: Arithmétique des ordinateurs
Réponse : A. E4M3 pour les poids et activations, E5M2 pour les gradients
Avec seulement 8 bits, les propriétés dépendent de la répartition entre exposant et mantisse. E4M3 a un bit de mantisse de plus, donc une meilleure précision mais une plage plus étroite ; E5M2 a un bit d'exposant de plus, donc une plage plus large mais une précision plus faible. On utilise donc généralement E4M3 pour les poids et activations, dont l'ordre de grandeur est relativement homogène, et E5M2 pour les gradients, dont l'ordre de grandeur varie fortement. Les deux sont des formats flottants, non entiers.
Utilisés le plus souvent en faible précision (FP16, BF16, FP8, INT8, etc.), ils accélèrent fortement les produits de matrices qui représentent l'essentiel de l'entraînement et de l'inférence des réseaux de neurones.
Quelle est la caractéristique des Tensor Cores (unités de c…Exposant Mantisse GPU INT8 Inférence Absorption (perte de chiffres) Additionneur à retenue anticipée Additionneur à retenue conservée (carry-save) Algorithme de Booth Arbre de Wallace