Geheugen dat bij inferentie van grote taalmodellen de Key- en Value-waarden van de attention van al verwerkte tokens bewaart. Voorkomt herberekening, maar groeit evenredig met de lengte van de tekst en de batch.
Japanse benaming: KVキャッシュ
“KV-cache” komt voor in 4 oefenvragen uit 1 onderwerpen, bijv. AI-hardware en softwarestack.
Vakgebied: AI-hardware en softwarestack
Antwoord: C. De Key en Value van de attention van reeds verwerkte tokens worden opgeslagen, zodat ze niet bij elk nieuw token opnieuw hoeven te worden berekend
Bij de attentionberekening verwijst een nieuw token naar de Key en Value van alle voorgaande tokens. Omdat de Key en Value van eerdere tokens niet veranderen, hoeft alleen het nieuwe token te worden berekend als ze worden opgeslagen in plaats van telkens opnieuw berekend. Dit is de KV-cache. De berekening neemt sterk af, maar de hoeveelheid opgeslagen Key en Value groeit evenredig met de lengte van de tekst en de grootte van de batch.
Dit is de KV-cache.
Welke uitspraak over de rol van de KV-cache bij de inferent…Bij inferentie komen daar nog tussenresultaten en bij grote taalmodellen het geheugen voor de KV-cache bij.
Hoeveel bedraagt het geheugen voor de gewichten ongeveer wa…Ook het geheugen voor tussenresultaten en de KV-cache groeit evenredig met de batch.
Welke uitspraak over het nadeel van een te grote batchgroot…De grootte van de KV-cache wordt bepaald door aantal lagen × dimensie van Key en Value × aantal tokens × batchgrootte × aantal bytes per element.
Welke uitspraak over wat bij de inferentie van grote taalmo…Inferentie (inference) Batchgrootte GPU Doorvoer (throughput) AI-compiler All-reduce Attention Backpropagatie Dataparallellisme FlashAttention