Français
Menu

Pile matérielle et logicielle de l'IA

Un modèle dont les poids occupent environ 14 GB en FP16 est décodé avec une taille de lot 1 sur un GPU de 2 TB/s de bande passante mémoire. Quelle valeur est la plus proche de la borne inférieure du temps de génération d'un jeton ?

  1. AEnviron 7 µs
  2. BEnviron 7 s
  3. CEnviron 7 ms
Afficher la réponse et l'explication

Réponse : C. Environ 7 ms

Le décodage devant lire tous les poids à chaque jeton, il faut au moins le temps taille des poids ÷ bande passante mémoire. 14 GB ÷ 2 TB/s = 0,007 s = 7 ms, soit au plus environ 140 jetons par seconde. En quantifiant les poids sur 4 bits pour les ramener à environ 3,5 GB, cette borne descend à environ 1,75 ms. C'est pourquoi la quantification des poids est particulièrement efficace pour le décodage.

S'entraîner sur ce thème Retour au thème

Autres questions sur Pile matérielle et logicielle de l'IA

  1. Comment le volume de calcul de l'auto-attention d'un Transformer croît-il avec la longueur n de la séquence d'entrée ?
  2. Quel est le principe essentiel des implémentations rapides de l'attention comme FlashAttention ?
  3. Quel est le principal objectif de la « fusion d'opérateurs » utilisée dans les calculs d'IA ?
  4. Le traitement consistant à ajouter un biais au résultat d'un produit matriciel puis à appliquer une ReLU est fusionné de trois noyaux séparés en un seul. Qu'est-ce qui diminue principalement ?
  5. Quel est le principal traitement effectué par les compilateurs d'IA comme XLA, TVM ou la fonction de compilation de PyTorch ?

Comparatifs sur ce thème