Wat is een veelgebruikte benadering voor het aantal bewerkingen dat nodig is om een Transformer-model te trainen, bij N parameters en D trainingstokens?

Antwoord: C. Circa 6ND

De voorwaartse propagatie van één token vergt per parameter één vermenigvuldiging en één optelling, circa 2N bewerkingen. Backpropagation kost circa tweemaal zoveel, 4N, dus de training van één token circa 6N en van D tokens circa 6ND bewerkingen. Bij een model met 7 miljard parameters getraind op 1 biljoen tokens is dat bijvoorbeeld circa 4,2×10²² bewerkingen. Delen door de effectieve prestaties van de GPU geeft een indicatie van de trainingstijd.