Français
Menu

Pile matérielle et logicielle de l'IA

Quelle définition du flux de données « weight stationary » (poids fixes), l'une des approches des accélérateurs d'IA, est correcte ?

  1. ALes poids sont relus en mémoire à chaque fois et les entrées sont fixées
  2. BLes poids restent immobiles dans chaque unité de calcul et les valeurs d'entrée circulent pour enchaîner les multiplications-accumulations, ce qui réduit la lecture des poids
  3. CLe calcul s'effectue sans poids
Afficher la réponse et l'explication

Réponse : B. Les poids restent immobiles dans chaque unité de calcul et les valeurs d'entrée circulent pour enchaîner les multiplications-accumulations, ce qui réduit la lecture des poids

Dans un produit matriciel, les approches de mouvement des données se distinguent selon ce qui reste dans l'unité de calcul pour être réutilisé : poids, entrées ou sorties. En weight stationary, un poids est chargé et fixé dans chaque unité, et de nombreuses entrées y circulent pour poursuivre les multiplications-accumulations. Pour les convolutions ou les calculs à grand lot, où un même poids sert à de nombreuses entrées, l'énergie de lecture des poids diminue fortement.

S'entraîner sur ce thème Retour au thème

Autres questions sur Pile matérielle et logicielle de l'IA

  1. Laquelle des propositions suivantes n'est pas un avantage de l'inférence d'IA effectuée dans le terminal (edge), comme un smartphone, plutôt que sur un serveur dans le cloud ?
  2. Quelle est la principale raison pour laquelle le NPU d'un SoC de smartphone est plus efficace énergétiquement que le CPU pour l'inférence d'IA ?
  3. À quoi faut-il prendre garde concernant la valeur « xx TOPS » indiquée comme performance d'un accélérateur d'IA ?
  4. Quelle définition de la MFU (Model FLOPs Utilization), indicateur d'efficacité de l'entraînement à grande échelle, est correcte ?
  5. Quelle approximation est couramment utilisée pour estimer le nombre d'opérations nécessaires à l'entraînement d'un modèle Transformer, avec N le nombre de paramètres et D le nombre de jetons d'entraînement ?