Méthode d'accélération de l'inférence où un petit modèle rédige un brouillon de quelques tokens, qu'un grand modèle vérifie en une seule passe pour adopter d'un coup la partie correcte.
Nom japonais: 投機的デコーディング
« Décodage spéculatif » apparaît dans 1 questions d'entraînement réparties sur 1 thèmes, dont Pile matérielle et logicielle de l'IA.
Réponse : B. Rédiger un brouillon de plusieurs jetons à l'avance avec un petit modèle, les vérifier en une seule passe avec le grand modèle et adopter d'un coup ceux qui sont corrects
Le décodage étant limité par la mémoire, le temps de lecture des poids du grand modèle est presque le même pour calculer un jeton ou plusieurs ensemble. Un petit modèle léger prédit donc les jetons suivants, le grand modèle les vérifie ensemble en une seule propagation avant, et les jetons corrects sont adoptés d'un coup. Si les prédictions sont souvent justes, le nombre d'appels au grand modèle diminue, ce qui accélère le traitement sans changer la qualité de la sortie.
Inférence All-reduce Attention Cache KV Checkpointing de gradients Compilateur d'IA Distillation des connaissances Élagage (pruning) Entraînement tenant compte de la quantification FlashAttention