KI-Hardware und Software-Stack

Ein Modell mit ca. 14 GB Gewichten in FP16 wird auf einer GPU mit 2 TB/s Speicherbandbreite bei Batchgröße 1 dekodiert. Welcher Wert kommt der unteren Grenze der Zeit für die Erzeugung eines Tokens am nächsten?

  1. Aca. 7 µs
  2. Bca. 7 s
  3. Cca. 7 ms
Antwort und Erläuterung anzeigen

Antwort: C. ca. 7 ms

Beim Decode müssen für jedes Token alle Gewichte gelesen werden; es dauert daher mindestens Gewichtsgröße ÷ Speicherbandbreite. 14 GB ÷ 2 TB/s = 0,007 s = 7 ms, was höchstens etwa 140 Token pro Sekunde entspricht. Bei einer Quantisierung der Gewichte auf 4 Bit (ca. 3,5 GB) sinkt diese untere Grenze auf ca. 1,75 ms. Darum wirkt die Quantisierung der Gewichte beim Decode besonders stark.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu KI-Hardware und Software-Stack

  1. Wie wächst der Rechenaufwand der Self-Attention eines Transformers mit der Eingabesequenzlänge n?
  2. Was ist die Grundidee schneller Attention-Implementierungen wie FlashAttention?
  3. Was ist der Hauptzweck der „Operator-Fusion“, die bei KI-Berechnungen eingesetzt wird?
  4. Das Addieren eines Bias zum Ergebnis eines Matrixprodukts und das anschließende Durchlaufen von ReLU wurden von drei getrennten Kernels zu einem verschmolzen. Was verringert sich dadurch hauptsächlich?
  5. Welche Aussage zur Hauptaufgabe von KI-Compilern wie XLA, TVM oder der Compile-Funktion von PyTorch ist richtig?