Français
Menu

Pile matérielle et logicielle de l'IA

Dans l'inférence d'un grand modèle de langage, quel problème survient souvent avec des textes longs ou de grands lots ?

  1. ALe nombre de poids augmente proportionnellement à la longueur du texte
  2. BLa mémoire du cache KV croît proportionnellement à la longueur du texte et à la taille du lot, et peut dépasser celle des poids
  3. CPlus il y a de jetons, plus les réponses du modèle sont toujours courtes
Afficher la réponse et l'explication

Réponse : B. La mémoire du cache KV croît proportionnellement à la longueur du texte et à la taille du lot, et peut dépasser celle des poids

La taille du cache KV vaut nombre de couches × dimension des Key et Value × nombre de jetons × taille du lot × octets par élément. Avec des textes de plusieurs dizaines de milliers de jetons ou de nombreuses requêtes simultanées, elle atteint plusieurs dizaines de GB et peut dépasser la mémoire des poids. On recourt donc à des techniques comme le stockage du cache KV en précision réduite, le partage des Key et Value entre plusieurs têtes ou la gestion de la mémoire par petits blocs.

S'entraîner sur ce thème Retour au thème

Autres questions sur Pile matérielle et logicielle de l'IA

  1. Un modèle dont les poids occupent environ 14 GB en FP16 est décodé avec une taille de lot 1 sur un GPU de 2 TB/s de bande passante mémoire. Quelle valeur est la plus proche de la borne inférieure du temps de génération d'un jeton ?
  2. Comment le volume de calcul de l'auto-attention d'un Transformer croît-il avec la longueur n de la séquence d'entrée ?
  3. Quel est le principe essentiel des implémentations rapides de l'attention comme FlashAttention ?
  4. Quel est le principal objectif de la « fusion d'opérateurs » utilisée dans les calculs d'IA ?
  5. Le traitement consistant à ajouter un biais au résultat d'un produit matriciel puis à appliquer une ReLU est fusionné de trois noyaux séparés en un seul. Qu'est-ce qui diminue principalement ?

Comparatifs sur ce thème