Pile matérielle et logicielle de l'IA

Quelle est la principale raison pour laquelle certains accélérateurs d'IA embarquent sur la puce une grande SRAM (plusieurs dizaines à centaines de MB) ?

  1. AParce que la SRAM conserve les données hors tension
  2. BParce que la SRAM est moins chère par bit que la DRAM
  3. CPour garder les poids et résultats intermédiaires dans la puce et les réutiliser, réduisant les accès à la mémoire externe, lente et énergivore
Afficher la réponse et l'explication

Réponse : C. Pour garder les poids et résultats intermédiaires dans la puce et les réutiliser, réduisant les accès à la mémoire externe, lente et énergivore

L'énergie nécessaire pour lire une donnée dans une DRAM externe atteint plusieurs dizaines à centaines de fois celle d'une multiplication-accumulation. Garder les données dans la SRAM de la puce et les réutiliser réduit les accès à la mémoire externe et améliore à la fois la vitesse et l'efficacité énergétique. La SRAM occupant toutefois beaucoup de surface et étant coûteuse, la quantité embarquée résulte d'un compromis entre la taille des modèles traités et le coût.

S'entraîner sur ce thème Retour au thème

Autres questions sur Pile matérielle et logicielle de l'IA

  1. Quelle définition du flux de données « weight stationary » (poids fixes), l'une des approches des accélérateurs d'IA, est correcte ?
  2. Laquelle des propositions suivantes n'est pas un avantage de l'inférence d'IA effectuée dans le terminal (edge), comme un smartphone, plutôt que sur un serveur dans le cloud ?
  3. Quelle est la principale raison pour laquelle le NPU d'un SoC de smartphone est plus efficace énergétiquement que le CPU pour l'inférence d'IA ?
  4. À quoi faut-il prendre garde concernant la valeur « xx TOPS » indiquée comme performance d'un accélérateur d'IA ?
  5. Quelle définition de la MFU (Model FLOPs Utilization), indicateur d'efficacité de l'entraînement à grande échelle, est correcte ?