Nederlands
Menu

AI-hardware en softwarestack

Een model met circa 14 GB aan gewichten in FP16 wordt met batchgrootte 1 gedecodeerd op een GPU met een geheugenbandbreedte van 2 TB/s. Welke waarde benadert de ondergrens van de tijd om één token te genereren het best?

  1. ACirca 7 µs
  2. BCirca 7 s
  3. CCirca 7 ms
Antwoord en toelichting tonen

Antwoord: C. Circa 7 ms

Bij decode moeten voor elk token alle gewichten worden gelezen, zodat minstens grootte van de gewichten ÷ geheugenbandbreedte aan tijd nodig is. 14 GB ÷ 2 TB/s = 0,007 s = 7 ms, dus maximaal circa 140 tokens per seconde. Wordt de gewichtsprecisie gekwantiseerd naar 4 bits, circa 3,5 GB, dan wordt deze ondergrens circa 1,75 ms. Daarom is kwantisatie van de gewichten bij decode bijzonder effectief.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over AI-hardware en softwarestack

  1. Hoe neemt de rekenlast van self-attention in een Transformer toe met de lengte n van de invoerreeks?
  2. Welke uitspraak over het basisprincipe van snelle attention-implementaties zoals FlashAttention is juist?
  3. Wat is het belangrijkste doel van "operator fusion" (samenvoegen van bewerkingen) in AI-berekeningen?
  4. Het optellen van een bias en het toepassen van ReLU op het resultaat van een matrixproduct, eerst drie aparte kernels, zijn samengevoegd tot één kernel. Wat neemt hierdoor hoofdzakelijk af?
  5. Welke uitspraak over de belangrijkste taak van AI-compilers zoals XLA, TVM en de compilerfunctie van PyTorch is juist?

Vergelijkingen bij dit onderwerp