Mémoire qui conserve, lors de l'inférence d'un grand modèle de langage, les Key et Value de l'attention des tokens déjà traités. Elle évite les recalculs mais grandit proportionnellement à la longueur du texte et à la taille du lot.
Nom japonais: KVキャッシュ
« Cache KV » apparaît dans 4 questions d'entraînement réparties sur 1 thèmes, dont Pile matérielle et logicielle de l'IA.
Un modèle de langage transformer génère le texte un token à la fois. Dans chaque couche d'attention, la requête (query) du nouveau token est comparée aux clés (keys) de tous les tokens précédents, et le résultat pondère leurs valeurs (values). Comme l'attention est causale, les clés et valeurs des tokens précédents ne changent plus une fois calculées. Le cache KV les stocke couche par couche ; chaque étape de décodage ne calcule ainsi que la requête, la clé et la valeur du nouveau token et ajoute ces deux dernières, au lieu de retraiter toute la séquence. Un recalcul complet répété devient ainsi un coût modeste par token.
La taille du cache vaut 2 (clés et valeurs) × nombre de couches × dimension clé/valeur par couche × nombre de tokens × taille du lot × octets par élément. À titre d'exemple, un modèle de 32 couches, avec une dimension cachée de 4096 et une attention multi-têtes standard, nécessite environ 0,5 Mo par token en FP16. Un contexte de 4096 tokens occupe alors environ 2 Go par séquence, et un lot de huit séquences de ce type nécessite environ 16 Go, plus que les quelque 14 Go qu'occupent les poids d'un modèle FP16 de 7 milliards de paramètres.
L'inférence comporte deux phases. Le prefill traite tout le prompt en parallèle et écrit ses clés et valeurs dans le cache ; il est surtout limité par le calcul. Le décodage produit ensuite un token par étape, et chaque étape doit lire les poids du modèle ainsi que tout le cache KV de la séquence ; il est donc généralement limité par la bande passante mémoire. Des lots plus grands répartissent la lecture des poids entre davantage de requêtes et augmentent le débit, mais ils agrandissent le cache KV et allongent chaque étape, ce qui accroît la latence des requêtes individuelles.
Plusieurs techniques réduisent la pression sur le cache KV. L'attention à requêtes groupées (grouped-query) et à requête multiple (multi-query) permet à plusieurs têtes de requête de partager un même ensemble de têtes de clés et de valeurs, ce qui réduit proportionnellement la taille du cache. Stocker le cache en 8 bits ou en précision inférieure divise par deux, voire davantage, la mémoire nécessaire par rapport au FP16. Allouer le cache par petits blocs de taille fixe, plutôt qu'en une région contiguë par séquence dimensionnée pour la longueur maximale, évite la fragmentation et permet de loger davantage de requêtes ; cela permet aussi aux séquences partageant un préfixe de prompt commun de partager des blocs. Certains modèles limitent également l'attention à une fenêtre glissante de tokens récents.
Réponse : C. Conserver les Key et Value d'attention des jetons déjà traités pour éviter de les recalculer à chaque nouveau jeton
Dans le calcul de l'attention, chaque nouveau jeton consulte les Key et Value de tous les jetons précédents. Celles des jetons précédents ne changeant pas, les conserver plutôt que les recalculer à chaque fois permet de ne calculer que la part du nouveau jeton : c'est le cache KV. Le calcul diminue fortement, mais le volume de Key et Value stockées croît proportionnellement à la longueur du texte et à la taille du lot.
C'est la mémoire qui conserve les clés et valeurs d'attention des tokens déjà traités ; ainsi, pour chaque nouveau token généré, seules ses propres clés et valeurs doivent être calculées, sans recalculer toute la séquence.
Sa taille croît linéairement avec le nombre de couches, la largeur de l'attention, la longueur du contexte et la taille du lot ; des contextes longs ou de nombreuses requêtes simultanées peuvent donc le rendre plus volumineux que les poids du modèle.
Mettre en cache les clés et valeurs exactes est mathématiquement équivalent à les recalculer ; seules des approximations comme le stockage du cache en faible précision ou l'abandon des anciens tokens peuvent modifier les sorties.
Celles des jetons précédents ne changeant pas, les conserver plutôt que les recalculer à chaque fois permet de ne calculer que la part du nouveau jeton : c'est le cache KV.
Quel est le rôle du cache KV utilisé dans l'inférence des g…L'inférence demande en outre de la mémoire pour les résultats intermédiaires et, pour les grands modèles de langage, pour le cache KV.
Si les poids d'un modèle de 7 milliards de paramètres (7B) …La mémoire des résultats intermédiaires et du cache KV croît aussi proportionnellement au lot.
Quel est l'inconvénient d'une taille de lot trop grande en …La taille du cache KV vaut nombre de couches × dimension des Key et Value × nombre de jetons × taille du lot × octets par élément.
Dans l'inférence d'un grand modèle de langage, quel problèm…Inférence Attention GPU Taille de lot (batch size) Débit (throughput) All-reduce Checkpointing de gradients Compilateur d'IA Décodage spéculatif Distillation des connaissances