Français
Menu

Pile matérielle et logicielle de l'IA

Comment le volume de calcul de l'auto-attention d'un Transformer croît-il avec la longueur n de la séquence d'entrée ?

  1. AProportionnellement à n
  2. BProportionnellement au carré de n
  3. CIl est constant, indépendamment de n
Afficher la réponse et l'explication

Réponse : B. Proportionnellement au carré de n

L'auto-attention calcule le produit scalaire de la Query de chaque jeton avec les Key de tous les jetons, formant un tableau de poids n×n. Le volume de calcul, ainsi que la mémoire du tableau intermédiaire dans une implémentation naïve, sont donc proportionnels au carré de la longueur de séquence. Doubler la longueur quadruple la part de l'attention ; plus les textes sont longs, plus l'efficacité de l'attention conditionne les performances.

S'entraîner sur ce thème Retour au thème

Autres questions sur Pile matérielle et logicielle de l'IA

  1. Quel est le principe essentiel des implémentations rapides de l'attention comme FlashAttention ?
  2. Quel est le principal objectif de la « fusion d'opérateurs » utilisée dans les calculs d'IA ?
  3. Le traitement consistant à ajouter un biais au résultat d'un produit matriciel puis à appliquer une ReLU est fusionné de trois noyaux séparés en un seul. Qu'est-ce qui diminue principalement ?
  4. Quel est le principal traitement effectué par les compilateurs d'IA comme XLA, TVM ou la fonction de compilation de PyTorch ?
  5. Quelle définition du « graphe de calcul » utilisé dans les frameworks et compilateurs d'IA est correcte ?

Comparatifs sur ce thème