Circuit dédié à l'inférence des réseaux de neurones d'IA, rapide et à faible consommation. Intégré aux SoC des smartphones et des PC.
Nom japonais: NPU(ニューラルプロセッシングユニット)
« NPU (unité de traitement neuronal) » apparaît dans 6 questions d'entraînement réparties sur 2 thèmes, dont Pile matérielle et logicielle de l'IA, CPU et architecture.
Domaine: CPU et architecture
Réponse : B. Il aligne de nombreuses unités de multiplication-accumulation en faible précision, comme INT8, et omet les circuits généralistes inutiles au calcul d'IA
Pour pouvoir tout exécuter, le CPU active de nombreux circuits à chaque instruction, comme la prédiction de branchement ou le réordonnancement des instructions. Le NPU, spécialisé dans les multiplications-accumulations matricielles, aligne de nombreuses unités en faible précision et réutilise les données dans la puce ; l'énergie par opération est donc inférieure de plusieurs ordres de grandeur. En contrepartie, il convient mal aux traitements hors IA et aux opérations non prises en charge.
Le NPU, spécialisé dans les multiplications-accumulations matricielles, aligne de nombreuses unités en faible précision et réutilise les données dans la puce ; l'énergie par opération est donc inférieure de plusieurs ordres de grandeur.
Quelle est la principale raison pour laquelle le NPU d'un S…Le NPU est un circuit dédié qui traite massivement en parallèle, en basse précision comme les entiers de 8 bits ou moins, les multiplications-accumulations qui constituent l'essentiel du calcul des réseaux de neurones.
Quel circuit dédié, intégré notamment aux SoC de smartphone…Le compilateur d'IA reçoit le modèle sous forme de graphe de calcul (opérations et flux de données), fusionne les opérations regroupables, supprime les calculs inutiles, choisit l'agencement mémoire, ajuste la taille des tuiles, etc., et génère des noyaux adaptés à la cible, GPU, NPU ou autre.
Quel est le principal traitement effectué par les compilate…Après chargement du modèle, l'environnement d'inférence supprime les parties inutiles à l'inférence, fusionne les opérations, réduit au besoin la précision des poids et des activations, et choisit les noyaux les plus rapides pour le GPU ou le NPU cible.
Quelle est la principale raison pour laquelle les environne…On les fait fonctionner dans ces contraintes grâce à la quantification, à la distillation vers de petits modèles et à des circuits dédiés à haute efficacité énergétique comme les NPU.
Laquelle des propositions suivantes n'est pas un avantage d…Inférence GPU SoC (système sur puce) Graphe de calcul Prédiction de branchement Ordonnancement des instructions TOPS Compilateur d'IA ONNX Moteur d'inférence (runtime)