KI-Hardware und Software-Stack

Wie wächst der Rechenaufwand der Self-Attention eines Transformers mit der Eingabesequenzlänge n?

  1. AEr wächst proportional zu n
  2. BEr wächst proportional zu n²
  3. CEr ist unabhängig von n konstant
Antwort und Erläuterung anzeigen

Antwort: B. Er wächst proportional zu n²

Bei der Self-Attention wird das Skalarprodukt aus der Query jedes Tokens und den Keys aller Token berechnet, um eine n×n-Gewichtstabelle zu erzeugen. Der Rechenaufwand und der Speicher für die bei naiver Umsetzung entstehende Zwischentabelle sind daher proportional zum Quadrat der Sequenzlänge. Bei doppelter Länge vervierfacht sich der Attention-Anteil; je längere Texte verarbeitet werden, desto stärker bestimmt die Effizienz der Attention die Leistung.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu KI-Hardware und Software-Stack

  1. Was ist die Grundidee schneller Attention-Implementierungen wie FlashAttention?
  2. Was ist der Hauptzweck der „Operator-Fusion“, die bei KI-Berechnungen eingesetzt wird?
  3. Das Addieren eines Bias zum Ergebnis eines Matrixprodukts und das anschließende Durchlaufen von ReLU wurden von drei getrennten Kernels zu einem verschmolzen. Was verringert sich dadurch hauptsächlich?
  4. Welche Aussage zur Hauptaufgabe von KI-Compilern wie XLA, TVM oder der Compile-Funktion von PyTorch ist richtig?
  5. Welche Aussage zum „Berechnungsgraphen“ in KI-Frameworks und -Compilern ist richtig?