En inférence d'IA, quel est le principal avantage de la conversion (quantification) des poids de FP32 en INT8 ?

Réponse : B. Le volume de données est divisé par quatre, ce qui permet un calcul plus rapide et plus économe en énergie

Passer de poids de 32 bits à 8 bits divise par quatre l'occupation mémoire et le volume lu, ce qui est très efficace en inférence où la bande passante mémoire est limitée. De plus, un multiplieur entier 8 bits est bien plus petit et économe qu'un multiplieur flottant : davantage d'opérations sont possibles à surface et puissance égales. En contrepartie, les valeurs représentables sont limitées à 256, d'où une erreur et parfois une légère baisse de précision. La précision n'augmente pas et les performances ne s'améliorent pas systématiquement.