Traitement d'IA qui produit une réponse à partir d'une entrée par la seule propagation avant, à l'aide des poids fixés par l'entraînement. Il demande moins de calcul et de mémoire que l'entraînement.
Nom japonais: 推論
« Inférence » apparaît dans 23 questions d'entraînement réparties sur 5 thèmes, dont Pile matérielle et logicielle de l'IA, CPU et architecture, Programmation GPU.
Réponse : B. Ils disposent de nombreuses unités de calcul simples et traitent de grandes quantités de données en parallèle
Le GPU, conçu à l'origine pour traiter simultanément de nombreux pixels d'écran, aligne des milliers à plus de 10 000 unités de calcul simples. Pour les traitements qui répètent le même calcul sur de grandes quantités de données, comme le calcul matriciel, ce parallélisme offre des performances élevées. Les GPU récents intègrent des unités dédiées au calcul matriciel (Tensor Core, etc.) et de la HBM à large bande passante, et sont devenus les principaux acteurs de l'entraînement en IA. Les traitements séquentiels riches en branchements restent le point fort du CPU.
Réponse : C. NPU (unité de traitement neuronal)
Le NPU est un circuit dédié qui traite massivement en parallèle, en basse précision comme les entiers de 8 bits ou moins, les multiplications-accumulations qui constituent l'essentiel du calcul des réseaux de neurones. Ses performances par watt dépassent d'au moins un ordre de grandeur celles d'un processeur généraliste, ce qui permet de traiter dans le smartphone la retouche photo, la reconnaissance vocale ou la traduction. Ses performances s'expriment en TOPS (billions d'opérations par seconde), et son intégration s'étend aux SoC pour PC.
Passer de poids de 32 bits à 8 bits divise par quatre l'occupation mémoire et le volume lu, ce qui est très efficace en inférence où la bande passante mémoire est limitée.
En inférence d'IA, quel est le principal avantage de la con…L'inférence n'effectue que la propagation avant avec les poids déterminés à l'entraînement.
Quelle différence entre « entraînement » et « inférence » d…Le nombre de poids du modèle est le même à l'entraînement et à l'inférence.
Laquelle des propositions suivantes n'explique pas pourquoi…En inférence sur serveur, regrouper les requêtes de nombreux utilisateurs permet d'utiliser efficacement le GPU.
En inférence, pourquoi l'augmentation de la taille de lot (…Les frameworks d'entraînement privilégient la souplesse d'écriture et l'enregistrement nécessaire à la rétropropagation, ce qui est superflu pour la seule inférence.
Quelle est la principale raison pour laquelle les environne…GPU NPU (unité de traitement neuronal) Cache KV Rétropropagation SoC (système sur puce) INT8 Taille de lot (batch size) Intensité arithmétique Préremplissage (prefill) Attention