Dans une quantification post-entraînement des activations en INT8, quel est l'objectif de l'« étalonnage » (calibration) ?

Réponse : A. Faire passer des données d'entrée représentatives pour examiner la plage de valeurs des activations de chaque couche et déterminer l'échelle de quantification

Les poids sont fixés à la fin de l'entraînement, mais les valeurs des activations varient selon l'entrée. On fait donc passer quelques centaines d'entrées proches de l'usage réel pour examiner la plage et la distribution des activations de chaque couche, puis on détermine quelle plage faire correspondre à l'intervalle INT8 de −127 à 127 (l'échelle). S'aligner sur le maximum fait perdre de la finesse à cause des valeurs aberrantes ; on resserre donc parfois légèrement la plage pour couvrir l'essentiel de la distribution.