Quelle est la principale raison pour laquelle les environnements d'exécution d'inférence comme TensorRT ou ONNX Runtime sont plus rapides qu'une inférence directe dans le framework d'entraînement ?

Réponse : A. Ils optimisent le graphe sous la forme requise par la seule inférence et effectuent fusion d'opérations, quantification, choix de noyaux adaptés au matériel, etc.

Les frameworks d'entraînement privilégient la souplesse d'écriture et l'enregistrement nécessaire à la rétropropagation, ce qui est superflu pour la seule inférence. Après chargement du modèle, l'environnement d'inférence supprime les parties inutiles à l'inférence, fusionne les opérations, réduit au besoin la précision des poids et des activations, et choisit les noyaux les plus rapides pour le GPU ou le NPU cible. La latence et la mémoire d'un même modèle diminuent ainsi fortement.