Dans la quantification des grands modèles de langage, la précision chute facilement lorsque quelques canaux présentent de fortes valeurs aberrantes. Quelle parade est courante ?

Réponse : C. Utiliser une échelle par canal ou par petit groupe plutôt qu'une seule échelle pour tout le tenseur

Avec une seule échelle pour tout le tenseur, la plage s'élargit pour couvrir quelques fortes valeurs aberrantes, et la grande majorité des petites valeurs ne dispose plus que de peu de niveaux. Avec une échelle par canal ou par groupe de 64 à 128 éléments, l'effet des valeurs aberrantes reste confiné à leur groupe. D'autres techniques sont aussi utilisées, comme le transfert des valeurs aberrantes vers les poids avant quantification.