Français
Menu

Pile matérielle et logicielle de l'IA

Sur un accélérateur de 100 TFLOPS en crête et 2 TB/s de bande passante mémoire, on exécute un traitement d'intensité arithmétique 10 FLOP/octet. Quelles performances atteignables estime le modèle Roofline ?

  1. A100 TFLOPS (limité par le calcul)
  2. B20 TFLOPS (limité par la mémoire)
  3. C10 TFLOPS (limité par la mémoire)
Afficher la réponse et l'explication

Réponse : B. 20 TFLOPS (limité par la mémoire)

Dans le modèle Roofline, les performances atteignables sont le minimum entre « performances de crête » et « bande passante × intensité arithmétique ». 2 TB/s × 10 FLOP/octet = 20 TFLOPS, inférieur aux 100 de crête ; ce traitement est donc limité par la mémoire, avec un plafond de 20 TFLOPS. Le seuil (point de crête, ridge point) vaut crête ÷ bande passante = 50 FLOP/octet ; seuls les traitements d'intensité arithmétique supérieure atteignent les performances de crête.

Modèle roofline 0.1 1 10 100 1000 Intensité arithmétique (FLOP/octet, échelle log) Performance (FLOP/s, échelle log) Point de crête Performance crête Pente = bande passante mémoire ← Limité par la mémoire Limité par le calcul → Ex. matrice-vecteur Ex. matrice-matrice Crête = pic ÷ bande passante
Modèle roofline · Voir dans les schémas
S'entraîner sur ce thème Retour au thème

Autres questions sur Pile matérielle et logicielle de l'IA

  1. Avec une seule entrée (taille de lot 1), pourquoi le calcul d'une couche entièrement connectée (produit matrice de poids-vecteur) tend-il à être limité par la mémoire ?
  2. En inférence, pourquoi l'augmentation de la taille de lot (nombre d'entrées traitées ensemble) tend-elle à améliorer l'efficacité globale ?
  3. Quel est l'inconvénient d'une taille de lot trop grande en inférence ?
  4. L'inférence d'un grand modèle de langage se divise en une phase traitant l'ensemble du texte d'entrée (prefill) et une phase produisant la sortie jeton par jeton (décodage). Quelle combinaison des facteurs déterminant principalement leurs performances est correcte (pour un petit lot) ?
  5. Quel est le rôle du cache KV utilisé dans l'inférence des grands modèles de langage ?

Comparatifs sur ce thème