Logiciel qui analyse le graphe de calcul d'un modèle, optimise la fusion d'opérations, la disposition des données, le tuilage, etc., et génère du code pour le matériel cible. Exemples : XLA, TVM.
Nom japonais: AIコンパイラ
« Compilateur d'IA » apparaît dans 1 questions d'entraînement réparties sur 1 thèmes, dont Pile matérielle et logicielle de l'IA.
Réponse : C. Analyser le graphe de calcul du modèle, optimiser la fusion d'opérations, l'agencement des données, le tuilage, etc., et générer du code pour le matériel cible
Le compilateur d'IA reçoit le modèle sous forme de graphe de calcul (opérations et flux de données), fusionne les opérations regroupables, supprime les calculs inutiles, choisit l'agencement mémoire, ajuste la taille des tuiles, etc., et génère des noyaux adaptés à la cible, GPU, NPU ou autre. Il produit automatiquement le code optimal pour chaque matériel à partir du même modèle, ce qui réduit fortement l'effort d'optimisation manuelle.
Le compilateur d'IA reçoit le modèle sous forme de graphe de calcul (opérations et flux de données), fusionne les opérations regroupables, supprime les calculs inutiles, choisit l'agencement mémoire, ajuste la taille des tuiles, etc., et génère des noyaux adaptés à la cible, GPU, NPU ou autre.
Quel est le principal traitement effectué par les compilate…Graphe de calcul GPU NPU (unité de traitement neuronal) All-reduce Attention Cache KV Checkpointing de gradients Décodage spéculatif Distillation des connaissances Élagage (pruning)