Français
Menu

Pile matérielle et logicielle de l'IA

Quelle est la principale raison pour laquelle le NPU d'un SoC de smartphone est plus efficace énergétiquement que le CPU pour l'inférence d'IA ?

  1. ALe NPU calcule avec de la lumière, sans électricité
  2. BIl aligne de nombreuses unités de multiplication-accumulation en faible précision, comme INT8, et omet les circuits généralistes inutiles au calcul d'IA
  3. CLe NPU fonctionne toujours à une fréquence d'horloge plus élevée que le CPU
Afficher la réponse et l'explication

Réponse : B. Il aligne de nombreuses unités de multiplication-accumulation en faible précision, comme INT8, et omet les circuits généralistes inutiles au calcul d'IA

Pour pouvoir tout exécuter, le CPU active de nombreux circuits à chaque instruction, comme la prédiction de branchement ou le réordonnancement des instructions. Le NPU, spécialisé dans les multiplications-accumulations matricielles, aligne de nombreuses unités en faible précision et réutilise les données dans la puce ; l'énergie par opération est donc inférieure de plusieurs ordres de grandeur. En contrepartie, il convient mal aux traitements hors IA et aux opérations non prises en charge.

S'entraîner sur ce thème Retour au thème

Autres questions sur Pile matérielle et logicielle de l'IA

  1. À quoi faut-il prendre garde concernant la valeur « xx TOPS » indiquée comme performance d'un accélérateur d'IA ?
  2. Quelle définition de la MFU (Model FLOPs Utilization), indicateur d'efficacité de l'entraînement à grande échelle, est correcte ?
  3. Quelle approximation est couramment utilisée pour estimer le nombre d'opérations nécessaires à l'entraînement d'un modèle Transformer, avec N le nombre de paramètres et D le nombre de jetons d'entraînement ?
  4. Pour un grand modèle de langage de N paramètres, quel est l'ordre de grandeur du nombre d'opérations nécessaires à l'inférence d'un jeton (hors attention) ?
  5. Lors du calcul de la fonction softmax exp(xi)/Σexp(xj), pourquoi soustrait-on souvent le maximum de chaque xi avant le calcul ?

Comparatifs sur ce thème