Eerste fase bij inferentie van grote taalmodellen waarin de tokens van de invoertekst in één keer worden verwerkt. Wordt gemakkelijk compute-bound. De daaropvolgende generatie per token heet decode.
Japanse benaming: プリフィル
“Prefill” komt voor in 2 oefenvragen uit 1 onderwerpen, bijv. AI-hardware en softwarestack.
Vakgebied: AI-hardware en softwarestack
Antwoord: B. Prefill: rekenprestaties, decode: geheugenbandbreedte
Bij prefill worden honderden tot duizenden tokens van de invoer gezamenlijk berekend, zodat gewichten voor veel tokens worden hergebruikt en de bewerking een matrixproduct en rekenbegrensd wordt. Bij decode worden voor elk token alle gewichten gelezen terwijl slechts de berekening van één token wordt uitgevoerd, zodat de rekenintensiteit laag en de bewerking geheugenbegrensd is. De decodesnelheid wordt daarom ruwweg bepaald door geheugenbandbreedte ÷ grootte van de gewichten.
Bij prefill worden honderden tot duizenden tokens van de invoer gezamenlijk berekend, zodat gewichten voor veel tokens worden hergebruikt en de bewerking een matrixproduct en rekenbegrensd wordt.
De inferentie van een groot taalmodel bestaat uit een fase …Bij de rekenbegrensde prefill is dit effect klein en werkt kwantisatie waarbij de berekening zelf met lage precisie wordt uitgevoerd beter.
Waarom maakt W4A16-kwantisatie, waarbij alleen de gewichten…Inferentie (inference) Rekenintensiteit (arithmetic intensity) AI-compiler All-reduce Attention Backpropagatie Batchgrootte Dataparallellisme FlashAttention Gestructureerde sparsity