Logiciel qui charge un modèle entraîné et l'exécute rapidement en inférence grâce à l'optimisation du graphe, à la quantification, au choix de noyaux adaptés au matériel, etc.
Nom japonais: 推論ランタイム
« Moteur d'inférence (runtime) » apparaît dans 2 questions d'entraînement réparties sur 2 thèmes, dont Pile matérielle et logicielle de l'IA, Éditeurs de liens, chargeurs et exécutables.
Réponse : A. Ils optimisent le graphe sous la forme requise par la seule inférence et effectuent fusion d'opérations, quantification, choix de noyaux adaptés au matériel, etc.
Les frameworks d'entraînement privilégient la souplesse d'écriture et l'enregistrement nécessaire à la rétropropagation, ce qui est superflu pour la seule inférence. Après chargement du modèle, l'environnement d'inférence supprime les parties inutiles à l'inférence, fusionne les opérations, réduit au besoin la précision des poids et des activations, et choisit les noyaux les plus rapides pour le GPU ou le NPU cible. La latence et la mémoire d'un même modèle diminuent ainsi fortement.
L'éditeur de liens intègre au programme les objets de démarrage fournis par le runtime C (crt1.o, etc.) et prend comme point d'entrée le _start qu'ils contiennent.
Quelle affirmation concernant l'adresse où l'OS commence l'…Inférence ONNX Rétropropagation GPU NPU (unité de traitement neuronal) Point d'entrée Éditeur de liens (linker) All-reduce Attention Cache KV