Première phase de l'inférence d'un grand modèle de langage, qui traite d'un bloc les tokens du texte d'entrée. Elle tend à être limitée par le calcul. La génération qui suit, token par token, est appelée décodage.
Nom japonais: プリフィル
« Préremplissage (prefill) » apparaît dans 2 questions d'entraînement réparties sur 1 thèmes, dont Pile matérielle et logicielle de l'IA.
Réponse : B. Prefill : performances de calcul ; décodage : bande passante mémoire
Le prefill calcule ensemble des centaines à des milliers de jetons d'entrée ; les poids sont réutilisés par de nombreux jetons, le calcul devient un produit matrice-matrice et il est limité par le calcul. Le décodage lit tous les poids pour chaque jeton produit mais ne calcule qu'un jeton ; son intensité arithmétique est faible et il est limité par la mémoire. La vitesse de décodage est donc déterminée approximativement par bande passante mémoire ÷ taille des poids.
Le prefill calcule ensemble des centaines à des milliers de jetons d'entrée ; les poids sont réutilisés par de nombreux jetons, le calcul devient un produit matrice-matrice et il est limité par le calcul.
L'inférence d'un grand modèle de langage se divise en une p…Pour le prefill, limité par le calcul, cet effet est faible, et une quantification effectuant le calcul lui-même en précision réduite est plus efficace.
Dans l'inférence des grands modèles de langage, pourquoi la…Inférence Intensité arithmétique All-reduce Attention Cache KV Checkpointing de gradients Compilateur d'IA Décodage spéculatif Distillation des connaissances Élagage (pruning)