Dans l'inférence des grands modèles de langage, pourquoi la quantification des seuls poids sur 4 bits, les activations restant en FP16 (W4A16), accélère-t-elle particulièrement le décodage ?

Réponse : B. Parce que le décodage étant limité par la mémoire, la division par quatre du volume de poids lus se traduit directement en vitesse

Le décodage lit tous les poids à chaque jeton et sa vitesse est déterminée par la bande passante mémoire. Des poids sur 4 bits divisent par quatre le volume lu, si bien que le temps total diminue fortement même s'ils sont reconvertis en FP16 dans la puce avant le calcul. Pour le prefill, limité par le calcul, cet effet est faible, et une quantification effectuant le calcul lui-même en précision réduite est plus efficace. La méthode de quantification pertinente dépend du facteur limitant.