Hoe neemt de rekenlast van self-attention in een Transformer toe met de lengte n van de invoerreeks?

Antwoord: B. Evenredig met het kwadraat van n

Bij self-attention wordt het inwendig product van de Query van elk token met de Key van alle tokens berekend, wat een n×n-tabel met gewichten oplevert. De rekenlast en het geheugen voor de tussentabel bij een eenvoudige implementatie zijn daarom evenredig met het kwadraat van de lengte van de reeks. Bij verdubbeling van de lengte wordt het attentiongedeelte viermaal zo groot, zodat bij lange teksten de efficiëntie van de attention de prestaties bepaalt.