L'inférence d'un grand modèle de langage se divise en une phase traitant l'ensemble du texte d'entrée (prefill) et une phase produisant la sortie jeton par jeton (décodage). Quelle combinaison des facteurs déterminant principalement leurs performances est correcte (pour un petit lot) ?

Réponse : B. Prefill : performances de calcul ; décodage : bande passante mémoire

Le prefill calcule ensemble des centaines à des milliers de jetons d'entrée ; les poids sont réutilisés par de nombreux jetons, le calcul devient un produit matrice-matrice et il est limité par le calcul. Le décodage lit tous les poids pour chaque jeton produit mais ne calcule qu'un jeton ; son intensité arithmétique est faible et il est limité par la mémoire. La vitesse de décodage est donc déterminée approximativement par bande passante mémoire ÷ taille des poids.