Welche Beschreibung der im Transformer verwendeten Self-Attention trifft zu?

Antwort: B. Sie berechnet Gewichte aus der Ähnlichkeit zwischen der Query jedes Tokens und den Keys aller Tokens und bildet die gewichtete Summe der Values, sodass die Berechnung für alle Positionen der Sequenz parallel erfolgen kann

Bei der Self-Attention werden aus dem Vektor jedes Tokens eine Query (Q), ein Key (K) und ein Value (V) gebildet; die Skalarprodukte einer Query mit allen Keys werden mit der Softmax-Funktion in Gewichte umgewandelt, und die gewichtete Summe der Values wird berechnet. Jedes Token kann Information von weit entfernten Tokens direkt aufnehmen, und da sich die Berechnung als Matrixprodukte schreiben lässt und nicht wie bei einem RNN auf das Ergebnis des vorherigen Zeitschritts warten muss, können beim Training alle Positionen der Sequenz parallel berechnet werden. Die Berechnung selbst enthält keine Information über die Wortreihenfolge; sie wird daher mit einer Positionskodierung (Positional Encoding) kombiniert, die Positionsinformation hinzufügt. Andererseits wächst der Rechenaufwand mit dem Quadrat der Sequenzlänge.