Format de modèle commun permettant d'échanger des modèles entre frameworks et moteurs d'inférence différents. Abréviation de Open Neural Network Exchange.
Nom japonais: ONNX
« ONNX » apparaît dans 2 questions d'entraînement réparties sur 1 thèmes, dont Pile matérielle et logicielle de l'IA.
Réponse : C. Un format de modèle commun pour échanger des modèles entre frameworks et environnements d'exécution d'inférence différents
ONNX (Open Neural Network Exchange) est une norme représentant le graphe de calcul et les poids d'un modèle dans un format commun. Un modèle entraîné par exemple avec PyTorch et exporté en ONNX peut être chargé et exécuté par l'environnement d'inférence d'une autre société ou par les outils de divers matériels. Séparant l'environnement d'entraînement de celui d'inférence, il facilite le choix du mécanisme d'exécution optimal pour chaque équipement.
Réponse : A. Ils optimisent le graphe sous la forme requise par la seule inférence et effectuent fusion d'opérations, quantification, choix de noyaux adaptés au matériel, etc.
Les frameworks d'entraînement privilégient la souplesse d'écriture et l'enregistrement nécessaire à la rétropropagation, ce qui est superflu pour la seule inférence. Après chargement du modèle, l'environnement d'inférence supprime les parties inutiles à l'inférence, fusionne les opérations, réduit au besoin la précision des poids et des activations, et choisit les noyaux les plus rapides pour le GPU ou le NPU cible. La latence et la mémoire d'un même modèle diminuent ainsi fortement.
ONNX (Open Neural Network Exchange) est une norme représentant le graphe de calcul et les poids d'un modèle dans un format commun.
Quelle définition d'ONNX est correcte ?Inférence Graphe de calcul Moteur d'inférence (runtime) Rétropropagation GPU NPU (unité de traitement neuronal) All-reduce Attention Cache KV Checkpointing de gradients