KI-Hardware und Software-Stack

Was wird bei der Inferenz großer Sprachmodelle mit langen Texten oder großen Batches leicht zum Problem?

  1. ADie Zahl der Gewichte wächst proportional zur Textlänge
  2. BDer Speicher des KV-Cache wächst proportional zu Textlänge und Batchgröße und kann größer werden als der der Gewichte
  3. CMit steigender Token-Zahl werden die Antworten des Modells zwangsläufig kürzer
Antwort und Erläuterung anzeigen

Antwort: B. Der Speicher des KV-Cache wächst proportional zu Textlänge und Batchgröße und kann größer werden als der der Gewichte

Die Größe des KV-Cache ergibt sich aus Schichtzahl × Dimension von Key und Value × Token-Zahl × Batchgröße × Bytes pro Element. Bei langen Texten mit zehntausenden Token oder vielen gleichzeitigen Anfragen kann er mehrere zehn GB erreichen und den Speicher der Gewichte übersteigen. Daher werden Maßnahmen eingesetzt wie die Haltung des KV-Cache mit geringerer Genauigkeit, die gemeinsame Nutzung von Key und Value durch mehrere Heads oder die Verwaltung des Speichers in kleinen Blöcken.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu KI-Hardware und Software-Stack

  1. Ein Modell mit ca. 14 GB Gewichten in FP16 wird auf einer GPU mit 2 TB/s Speicherbandbreite bei Batchgröße 1 dekodiert. Welcher Wert kommt der unteren Grenze der Zeit für die Erzeugung eines Tokens am nächsten?
  2. Wie wächst der Rechenaufwand der Self-Attention eines Transformers mit der Eingabesequenzlänge n?
  3. Was ist die Grundidee schneller Attention-Implementierungen wie FlashAttention?
  4. Was ist der Hauptzweck der „Operator-Fusion“, die bei KI-Berechnungen eingesetzt wird?
  5. Das Addieren eines Bias zum Ergebnis eines Matrixprodukts und das anschließende Durchlaufen von ReLU wurden von drei getrennten Kernels zu einem verschmolzen. Was verringert sich dadurch hauptsächlich?