Afkorting van Model FLOPs Utilization. Maat die aangeeft welk percentage van de piekprestatie van de hardware de werkelijke rekenprestatie bedraagt, bepaald uit het aantal voor het model vereiste bewerkingen.
Japanse benaming: MFU
“MFU” komt voor in 1 oefenvragen uit 1 onderwerpen, bijv. AI-hardware en softwarestack.
Vakgebied: AI-hardware en softwarestack
Antwoord: A. Het percentage van de piekprestatie van de hardware dat wordt bereikt door de werkelijke rekenprestatie, bepaald uit het aantal voor de modelberekening benodigde bewerkingen
MFU is de waarde die ontstaat door uit het aantal per seconde verwerkte tokens en het aantal voor het model benodigde bewerkingen de snelheid van de werkelijk verrichte nuttige berekening te bepalen en die te delen door de piekprestatie van de GPU. Hij daalt bij wachten op communicatie, geheugenbegrensde bewerkingen, pipeline-bubbles en herberekening. Omdat hij laat zien hoe goed de hardware wordt benut, dient hij als richtlijn voor verbetering van trainingsinstellingen en software.
MFU is de waarde die ontstaat door uit het aantal per seconde verwerkte tokens en het aantal voor het model benodigde bewerkingen de snelheid van de werkelijk verrichte nuttige berekening te bepalen en die te delen door de piekprestatie van de GPU.
Welke uitspraak over MFU (Model FLOPs Utilization), een maa…GPU AI-compiler All-reduce Attention Backpropagatie Batchgrootte Dataparallellisme FlashAttention Gestructureerde sparsity Gradient checkpointing