Was ist KV-Cache?

Speicher bei der LLM-Inferenz, der die Attention-Schlüssel und -Werte bereits verarbeiteter Token enthält. Er vermeidet Neuberechnung, wächst aber mit Kontextlänge und Batchgröße.

Japanische Bezeichnung: KVキャッシュ

Fachgebiet: KI-Hardware und Software-Stack

Verwandte Begriffe

All-Reduce Arithmetische Intensität Attention-Mechanismus Backpropagation (Fehlerrückführung) Batchgröße Berechnungsgraph Datenparallelität FlashAttention Gradient Checkpointing Inferenz-Laufzeitumgebung (Inference Runtime)

Zurück zum Glossar