Français
Menu

Pile matérielle et logicielle de l'IA

Pourquoi les opérations élément par élément comme la ReLU ou la normalisation de couche prennent-elles souvent beaucoup de temps au regard de leur nombre d'opérations dans les calculs d'IA ?

  1. AParce que la ReLU demande plus d'opérations que le produit matriciel
  2. BParce que le calcul est faible par rapport au volume de lecture-écriture de chaque élément, si bien que la vitesse est déterminée par la bande passante mémoire
  3. CParce que les opérations élément par élément ne peuvent pas s'exécuter sur GPU
Afficher la réponse et l'explication

Réponse : B. Parce que le calcul est faible par rapport au volume de lecture-écriture de chaque élément, si bien que la vitesse est déterminée par la bande passante mémoire

La ReLU se contente de lire chaque élément, de le comparer à 0 et de l'écrire ; le calcul par élément est minime. Son intensité arithmétique étant très faible, le temps est déterminé par la bande passante mémoire et non par les performances des unités de calcul. Négligeables en nombre d'opérations, ces opérations peuvent représenter une part non négligeable du temps. On réduit les accès mémoire en les fusionnant juste après le produit matriciel ou en regroupant la normalisation dans un seul noyau.

S'entraîner sur ce thème Retour au thème

Autres questions sur Pile matérielle et logicielle de l'IA

  1. Dans les réseaux de neurones convolutifs, pourquoi le calcul de convolution est-il parfois converti en produit matriciel par une méthode comme im2col ?
  2. Quelle différence entre la quantification post-entraînement (PTQ) et l'entraînement tenant compte de la quantification (QAT) est correcte ?
  3. Dans une quantification post-entraînement des activations en INT8, quel est l'objectif de l'« étalonnage » (calibration) ?
  4. Dans la quantification des grands modèles de langage, la précision chute facilement lorsque quelques canaux présentent de fortes valeurs aberrantes. Quelle parade est courante ?
  5. Dans l'inférence des grands modèles de langage, pourquoi la quantification des seuls poids sur 4 bits, les activations restant en FP16 (W4A16), accélère-t-elle particulièrement le décodage ?