Français
Menu

Pile matérielle et logicielle de l'IA

Quel est le rôle du cache KV utilisé dans l'inférence des grands modèles de langage ?

  1. AStocker les questions et réponses fréquentes pour répondre immédiatement à une même question
  2. BPlacer tous les poids du modèle dans la mémoire cache du CPU
  3. CConserver les Key et Value d'attention des jetons déjà traités pour éviter de les recalculer à chaque nouveau jeton
Afficher la réponse et l'explication

Réponse : C. Conserver les Key et Value d'attention des jetons déjà traités pour éviter de les recalculer à chaque nouveau jeton

Dans le calcul de l'attention, chaque nouveau jeton consulte les Key et Value de tous les jetons précédents. Celles des jetons précédents ne changeant pas, les conserver plutôt que les recalculer à chaque fois permet de ne calculer que la part du nouveau jeton : c'est le cache KV. Le calcul diminue fortement, mais le volume de Key et Value stockées croît proportionnellement à la longueur du texte et à la taille du lot.

S'entraîner sur ce thème Retour au thème

Autres questions sur Pile matérielle et logicielle de l'IA

  1. Dans l'inférence d'un grand modèle de langage, quel problème survient souvent avec des textes longs ou de grands lots ?
  2. Un modèle dont les poids occupent environ 14 GB en FP16 est décodé avec une taille de lot 1 sur un GPU de 2 TB/s de bande passante mémoire. Quelle valeur est la plus proche de la borne inférieure du temps de génération d'un jeton ?
  3. Comment le volume de calcul de l'auto-attention d'un Transformer croît-il avec la longueur n de la séquence d'entrée ?
  4. Quel est le principe essentiel des implémentations rapides de l'attention comme FlashAttention ?
  5. Quel est le principal objectif de la « fusion d'opérateurs » utilisée dans les calculs d'IA ?

Comparatifs sur ce thème