Quel est le principe du « décodage spéculatif », qui accélère l'inférence des grands modèles de langage ?

Réponse : B. Rédiger un brouillon de plusieurs jetons à l'avance avec un petit modèle, les vérifier en une seule passe avec le grand modèle et adopter d'un coup ceux qui sont corrects

Le décodage étant limité par la mémoire, le temps de lecture des poids du grand modèle est presque le même pour calculer un jeton ou plusieurs ensemble. Un petit modèle léger prédit donc les jetons suivants, le grand modèle les vérifie ensemble en une seule propagation avant, et les jetons corrects sont adoptés d'un coup. Si les prédictions sont souvent justes, le nombre d'appels au grand modèle diminue, ce qui accélère le traitement sans changer la qualité de la sortie.