Nederlands
Menu

AI-hardware en softwarestack

Welke uitspraak over de rol van de KV-cache bij de inferentie van grote taalmodellen is juist?

  1. AVeelgestelde vragen en antwoorden worden opgeslagen om dezelfde vraag direct te beantwoorden
  2. BAlle gewichten van het model worden in het cachegeheugen van de CPU geplaatst
  3. CDe Key en Value van de attention van reeds verwerkte tokens worden opgeslagen, zodat ze niet bij elk nieuw token opnieuw hoeven te worden berekend
Antwoord en toelichting tonen

Antwoord: C. De Key en Value van de attention van reeds verwerkte tokens worden opgeslagen, zodat ze niet bij elk nieuw token opnieuw hoeven te worden berekend

Bij de attentionberekening verwijst een nieuw token naar de Key en Value van alle voorgaande tokens. Omdat de Key en Value van eerdere tokens niet veranderen, hoeft alleen het nieuwe token te worden berekend als ze worden opgeslagen in plaats van telkens opnieuw berekend. Dit is de KV-cache. De berekening neemt sterk af, maar de hoeveelheid opgeslagen Key en Value groeit evenredig met de lengte van de tekst en de grootte van de batch.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over AI-hardware en softwarestack

  1. Welke uitspraak over wat bij de inferentie van grote taalmodellen gemakkelijk een probleem wordt bij lange teksten of grote batches is juist?
  2. Een model met circa 14 GB aan gewichten in FP16 wordt met batchgrootte 1 gedecodeerd op een GPU met een geheugenbandbreedte van 2 TB/s. Welke waarde benadert de ondergrens van de tijd om één token te genereren het best?
  3. Hoe neemt de rekenlast van self-attention in een Transformer toe met de lengte n van de invoerreeks?
  4. Welke uitspraak over het basisprincipe van snelle attention-implementaties zoals FlashAttention is juist?
  5. Wat is het belangrijkste doel van "operator fusion" (samenvoegen van bewerkingen) in AI-berekeningen?