Mechanisme in Transformers waarbij elk token de sterkte van de relatie met alle andere tokens berekent om informatie te verzamelen. De rekenkosten zijn evenredig met het kwadraat van de sequentielengte.
Japanse benaming: アテンション
“Attention” komt voor in 3 oefenvragen uit 1 onderwerpen, bijv. AI-hardware en softwarestack.
Vakgebied: AI-hardware en softwarestack
Antwoord: B. Evenredig met het kwadraat van n
Bij self-attention wordt het inwendig product van de Query van elk token met de Key van alle tokens berekend, wat een n×n-tabel met gewichten oplevert. De rekenlast en het geheugen voor de tussentabel bij een eenvoudige implementatie zijn daarom evenredig met het kwadraat van de lengte van de reeks. Bij verdubbeling van de lengte wordt het attentiongedeelte viermaal zo groot, zodat bij lange teksten de efficiëntie van de attention de prestaties bepaalt.
Antwoord: A. De berekening wordt in tegels (tiles) verdeeld en verloopt in het geheugen op de chip, zonder de grote n×n-tussentabel naar HBM te schrijven, waardoor lees- en schrijfacties van het geheugen afnemen
Bij een eenvoudige implementatie wordt de n×n-tabel naar HBM geschreven, voor de softmax opnieuw gelezen en daarna nogmaals voor het product met Value, zodat het lezen en schrijven van geheugen de prestaties bepaalt. FlashAttention verdeelt Query en Key/Value in blokken die in het gedeelde geheugen worden geladen en voert de berekening in één doorgang uit terwijl de softmax stapsgewijs wordt bijgewerkt, zonder de tabel naar HBM te schrijven. Het rekenwerk blijft gelijk, maar het lezen en schrijven van geheugen neemt sterk af, zodat het sneller wordt.
Bij self-attention wordt het inwendig product van de Query van elk token met de Key van alle tokens berekend, wat een n×n-tabel met gewichten oplevert.
Hoe neemt de rekenlast van self-attention in een Transforme…Dit is een bijzonder belangrijke maatregel bij AI-berekeningen met lage precisie en wordt ook in snelle attention-implementaties gebruikt.
Waarom wordt bij de berekening van de softmaxfunctie exp(xi…FlashAttention HBM (high bandwidth memory) Exponent AI-compiler All-reduce Backpropagatie Batchgrootte Dataparallellisme Gestructureerde sparsity Gradient checkpointing