Nombre d'opérations d'un traitement divisé par le nombre d'octets lus et écrits en mémoire. Plus elle est grande, plus le traitement tend à être limité par le calcul ; plus elle est faible, plus il tend à être limité par la mémoire.
Nom japonais: 演算強度
« Intensité arithmétique » apparaît dans 8 questions d'entraînement réparties sur 3 thèmes, dont Pile matérielle et logicielle de l'IA, CPU et architecture, Analyse des performances.
Réponse : B. Modèle roofline
Le modèle roofline porte en abscisse l'intensité arithmétique (opérations par octet lu en mémoire) et en ordonnée les performances. Les traitements à faible intensité plafonnent à la bande passante mémoire (droite oblique), ceux à forte intensité à la performance de calcul crête (droite horizontale). Par exemple, avec 1 TB/s de bande passante et 100 TFLOPS, un traitement d'intensité inférieure à 100 FLOP/octet est limité par la mémoire. Il sert à choisir l'orientation des améliorations (réutilisation des données ou efficacité du calcul).
Réponse : B. N/3
Le nombre d'opérations est 2N³ ; les accès mémoire portent sur trois matrices, soit 3N² éléments, ou 6N² octets en FP16. L'intensité arithmétique vaut 2N³ ÷ 6N² = N/3, soit environ 340 pour N = 1024. Plus le produit matriciel est grand, plus le calcul par octet augmente ; c'est donc un traitement qui exploite facilement les performances des unités de calcul. À l'inverse, des traitements comme l'addition élément par élément ont une intensité arithmétique inférieure à 1 et leur vitesse est déterminée par la bande passante mémoire.
Le modèle roofline porte en abscisse l'intensité arithmétique (opérations par octet lu en mémoire) et en ordonnée les performances.
Quel modèle représente graphiquement, avec l'intensité arit…L'intensité arithmétique vaut 2N³ ÷ 6N² = N/3, soit environ 340 pour N = 1024.
Pour le produit de deux matrices N×N en FP16 (2 octets), en…Dans le modèle Roofline, les performances atteignables sont le minimum entre « performances de crête » et « bande passante × intensité arithmétique ».
Sur un accélérateur de 100 TFLOPS en crête et 2 TB/s de ban…En FP16, cela fait 2 opérations pour 2 octets, soit une intensité arithmétique d'environ 1.
Avec une seule entrée (taille de lot 1), pourquoi le calcul…La lecture des poids reste identique alors que les opérations sont multipliées par B ; l'intensité arithmétique est donc multipliée par environ B, et le traitement passe de la limitation par la mémoire à la limitation par le calcul.
En inférence, pourquoi l'augmentation de la taille de lot (…Modèle Roofline Taille de lot (batch size) Inférence GPU Préremplissage (prefill) All-reduce Attention Cache KV Checkpointing de gradients Compilateur d'IA