De inferentie van een groot taalmodel bestaat uit een fase waarin de invoertekst gezamenlijk wordt verwerkt (prefill) en een fase waarin per token de uitvoer wordt gemaakt (decode). Welke combinatie van wat de prestaties van elke fase hoofdzakelijk bepaalt is juist (bij een kleine batch)?

Antwoord: B. Prefill: rekenprestaties, decode: geheugenbandbreedte

Bij prefill worden honderden tot duizenden tokens van de invoer gezamenlijk berekend, zodat gewichten voor veel tokens worden hergebruikt en de bewerking een matrixproduct en rekenbegrensd wordt. Bij decode worden voor elk token alle gewichten gelezen terwijl slechts de berekening van één token wordt uitgevoerd, zodat de rekenintensiteit laag en de bewerking geheugenbegrensd is. De decodesnelheid wordt daarom ruwweg bepaald door geheugenbandbreedte ÷ grootte van de gewichten.