KI-Hardware und Software-Stack

Welche Aussage zur Rolle des bei der Inferenz großer Sprachmodelle verwendeten KV-Cache ist richtig?

  1. AEr speichert häufig gestellte Fragen samt Antworten, um gleiche Fragen sofort zu beantworten
  2. BEr legt alle Modellgewichte im Cache-Speicher der CPU ab
  3. CEr speichert Key und Value der Attention für bereits verarbeitete Token, sodass sie für jedes neue Token nicht neu berechnet werden müssen
Antwort und Erläuterung anzeigen

Antwort: C. Er speichert Key und Value der Attention für bereits verarbeitete Token, sodass sie für jedes neue Token nicht neu berechnet werden müssen

Bei der Attention-Berechnung greift ein neues Token auf Key und Value aller vorherigen Token zu. Da sich Key und Value früherer Token nicht ändern, genügt es, sie zu speichern und nur den Anteil des neuen Tokens zu berechnen; dies ist der KV-Cache. Der Rechenaufwand sinkt stark, die Menge der gespeicherten Keys und Values wächst jedoch proportional zu Textlänge und Batchgröße.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu KI-Hardware und Software-Stack

  1. Was wird bei der Inferenz großer Sprachmodelle mit langen Texten oder großen Batches leicht zum Problem?
  2. Ein Modell mit ca. 14 GB Gewichten in FP16 wird auf einer GPU mit 2 TB/s Speicherbandbreite bei Batchgröße 1 dekodiert. Welcher Wert kommt der unteren Grenze der Zeit für die Erzeugung eines Tokens am nächsten?
  3. Wie wächst der Rechenaufwand der Self-Attention eines Transformers mit der Eingabesequenzlänge n?
  4. Was ist die Grundidee schneller Attention-Implementierungen wie FlashAttention?
  5. Was ist der Hauptzweck der „Operator-Fusion“, die bei KI-Berechnungen eingesetzt wird?