Implémentation rapide de l'attention qui découpe le calcul en tuiles traitées dans la mémoire sur puce, sans écrire les grandes tables intermédiaires en HBM. Le résultat est identique à celui de l'attention classique.
Nom japonais: FlashAttention
« FlashAttention » apparaît dans 1 questions d'entraînement réparties sur 1 thèmes, dont Pile matérielle et logicielle de l'IA.
Réponse : A. Découper le calcul en tuiles traitées dans la mémoire interne à la puce et ne pas écrire le grand tableau intermédiaire n×n en HBM, afin de réduire les accès mémoire
Une implémentation naïve écrit le tableau n×n en HBM, le relit pour le softmax puis encore pour le produit avec les Value ; les accès mémoire déterminent alors les performances. FlashAttention découpe Query, Key et Value en blocs chargés en mémoire partagée et mène le calcul d'une traite en mettant à jour le softmax progressivement, sans écrire le tableau en HBM. Le volume de calcul est identique, mais les accès mémoire diminuent fortement et le traitement s'accélère.
FlashAttention découpe Query, Key et Value en blocs chargés en mémoire partagée et mène le calcul d'une traite en mettant à jour le softmax progressivement, sans écrire le tableau en HBM.
Quel est le principe essentiel des implémentations rapides …Attention Ouverture numérique (NA) HBM Découpe (dicing) Mémoire partagée (shared memory) All-reduce Cache KV Checkpointing de gradients Compilateur d'IA Décodage spéculatif