Entier signé sur 8 bits (−128 à 127). En inférence d'IA, convertir poids et activations en INT8 avec un facteur d'échelle (quantification) réduit fortement les calculs et la mémoire, et permet un traitement rapide avec de petits circuits entiers.
Nom japonais: INT8
« INT8 » apparaît dans 5 questions d'entraînement réparties sur 3 thèmes, dont Arithmétique des ordinateurs, Pile matérielle et logicielle de l'IA, Programmation GPU.
Domaine: Arithmétique des ordinateurs
Réponse : B. Le volume de données est divisé par quatre, ce qui permet un calcul plus rapide et plus économe en énergie
Passer de poids de 32 bits à 8 bits divise par quatre l'occupation mémoire et le volume lu, ce qui est très efficace en inférence où la bande passante mémoire est limitée. De plus, un multiplieur entier 8 bits est bien plus petit et économe qu'un multiplieur flottant : davantage d'opérations sont possibles à surface et puissance égales. En contrepartie, les valeurs représentables sont limitées à 256, d'où une erreur et parfois une légère baisse de précision. La précision n'augmente pas et les performances ne s'améliorent pas systématiquement.
Réponse : C. 20
L'échelle vaut 6,35 ÷ 127 = 0,05 : l'entier 1 correspond au réel 0,05. Pour convertir un réel en entier, on le divise par l'échelle et on arrondit à l'entier le plus proche : 1,0 ÷ 0,05 = 20. La reconstruction donne 20 × 0,05 = 1,0. 1 résulte d'une conversion directe du réel en entier, et 127 est l'entier correspondant au maximum 6,35. Des valeurs aberrantes importantes rendent l'échelle grossière et dégradent la précision ; le choix du maximum (calibration) est donc essentiel.
On fait donc passer quelques centaines d'entrées proches de l'usage réel pour examiner la plage et la distribution des activations de chaque couche, puis on détermine quelle plage faire correspondre à l'intervalle INT8 de −127 à 127 (l'échelle).
Dans une quantification post-entraînement des activations e…Utilisés le plus souvent en faible précision (FP16, BF16, FP8, INT8, etc.), ils accélèrent fortement les produits de matrices qui représentent l'essentiel de l'entraînement et de l'inférence des réseaux de neurones.
Quelle est la caractéristique des Tensor Cores (unités de c…Les TOPS (billions d'opérations par seconde) sont une valeur théorique obtenue quand toutes les unités de calcul fonctionnent sans interruption ; ils sont souvent comptés en INT8 ou en précision inférieure, parfois avec parcimonie.
À quoi faut-il prendre garde concernant la valeur « xx TOPS…Inférence Quantification post-entraînement GPU FP8 TOPS Interruption Absorption (perte de chiffres) Additionneur à retenue anticipée Additionneur à retenue conservée (carry-save) Algorithme de Booth