Nederlands
Menu

AI-hardware en softwarestack

Welke uitspraak over wat bij de inferentie van grote taalmodellen gemakkelijk een probleem wordt bij lange teksten of grote batches is juist?

  1. AHet aantal gewichten neemt evenredig met de lengte van de tekst toe
  2. BHet geheugen van de KV-cache neemt evenredig toe met de lengte van de tekst en de grootte van de batch en kan groter worden dan dat van de gewichten
  3. CNaarmate het aantal tokens toeneemt, wordt het antwoord van het model altijd korter
Antwoord en toelichting tonen

Antwoord: B. Het geheugen van de KV-cache neemt evenredig toe met de lengte van de tekst en de grootte van de batch en kan groter worden dan dat van de gewichten

De grootte van de KV-cache wordt bepaald door aantal lagen × dimensie van Key en Value × aantal tokens × batchgrootte × aantal bytes per element. Bij lange teksten van tienduizenden tokens of veel gelijktijdige verzoeken loopt dit op tot tientallen GB en kan het zelfs het geheugen van de gewichten overtreffen. Daarom worden maatregelen gebruikt zoals de KV-cache met lagere precisie bijhouden, Key en Value delen over meerdere heads en het geheugen in kleine blokken beheren.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over AI-hardware en softwarestack

  1. Een model met circa 14 GB aan gewichten in FP16 wordt met batchgrootte 1 gedecodeerd op een GPU met een geheugenbandbreedte van 2 TB/s. Welke waarde benadert de ondergrens van de tijd om één token te genereren het best?
  2. Hoe neemt de rekenlast van self-attention in een Transformer toe met de lengte n van de invoerreeks?
  3. Welke uitspraak over het basisprincipe van snelle attention-implementaties zoals FlashAttention is juist?
  4. Wat is het belangrijkste doel van "operator fusion" (samenvoegen van bewerkingen) in AI-berekeningen?
  5. Het optellen van een bias en het toepassen van ReLU op het resultaat van een matrixproduct, eerst drie aparte kernels, zijn samengevoegd tot één kernel. Wat neemt hierdoor hoofdzakelijk af?