Optimisation qui regroupe plusieurs opérations en un seul noyau, évitant d'écrire en mémoire puis de relire les résultats intermédiaires. Aussi appelée operator fusion.
Nom japonais: 演算の融合
« Fusion d'opérateurs » apparaît dans 1 questions d'entraînement réparties sur 1 thèmes, dont Pile matérielle et logicielle de l'IA.
Réponse : A. Regrouper plusieurs opérations dans un seul noyau pour éviter d'écrire puis de relire les résultats intermédiaires en mémoire
Un produit matriciel est souvent suivi d'opérations élément par élément comme l'ajout d'un biais, une fonction d'activation ou une normalisation. Exécutées dans des noyaux séparés, elles écrivent à chaque fois le résultat intermédiaire en mémoire pour qu'il soit relu par le noyau suivant, et les accès mémoire prennent plus de temps que le calcul. Regroupées dans un seul noyau, elles s'enchaînent en gardant les résultats intermédiaires dans les registres ou la mémoire interne à la puce.
All-reduce Attention Cache KV Checkpointing de gradients Compilateur d'IA Décodage spéculatif Distillation des connaissances Élagage (pruning) Entraînement tenant compte de la quantification FlashAttention