Pile matérielle et logicielle de l'IA

Quelle différence entre la quantification post-entraînement (PTQ) et l'entraînement tenant compte de la quantification (QAT) est correcte ?

  1. ALa PTQ quantifie avant l'entraînement, la QAT après
  2. BLa PTQ quantifie directement un modèle entraîné ; la QAT simule l'effet de la quantification pendant l'entraînement et ajuste les poids pour limiter l'erreur en précision réduite
  3. CNi la PTQ ni la QAT ne quantifient
Afficher la réponse et l'explication

Réponse : B. La PTQ quantifie directement un modèle entraîné ; la QAT simule l'effet de la quantification pendant l'entraînement et ajuste les poids pour limiter l'erreur en précision réduite

La quantification post-entraînement réduit la précision des poids (et des activations) d'un modèle entraîné après avoir examiné les plages de valeurs sur une petite quantité de données représentatives ; elle est simple, mais la précision chute d'autant plus que le nombre de bits diminue. L'entraînement tenant compte de la quantification simule l'arrondi de quantification dans la propagation avant et ajuste les poids en intégrant cette erreur ; la précision est ainsi mieux préservée même avec une faible précision comme 4 bits.

S'entraîner sur ce thème Retour au thème

Autres questions sur Pile matérielle et logicielle de l'IA

  1. Dans une quantification post-entraînement des activations en INT8, quel est l'objectif de l'« étalonnage » (calibration) ?
  2. Dans la quantification des grands modèles de langage, la précision chute facilement lorsque quelques canaux présentent de fortes valeurs aberrantes. Quelle parade est courante ?
  3. Dans l'inférence des grands modèles de langage, pourquoi la quantification des seuls poids sur 4 bits, les activations restant en FP16 (W4A16), accélère-t-elle particulièrement le décodage ?
  4. Quelle affirmation sur l'élagage (pruning) des réseaux de neurones est correcte ?
  5. Quelle définition de la « parcimonie structurée 2:4 » prise en charge par les unités de calcul matriciel des GPU est correcte ?

Comparatifs sur ce thème