AI-hardware en softwarestack
Welke uitspraak over MFU (Model FLOPs Utilization), een maat voor de efficiëntie van grootschalige training, is juist?
- AHet percentage van de piekprestatie van de hardware dat wordt bereikt door de werkelijke rekenprestatie, bepaald uit het aantal voor de modelberekening benodigde bewerkingen
- BHet aandeel van de gewichten van het model dat niet 0 is
- CHet aandeel van het GPU-geheugen dat in gebruik is
Antwoord en toelichting tonen
Antwoord: A. Het percentage van de piekprestatie van de hardware dat wordt bereikt door de werkelijke rekenprestatie, bepaald uit het aantal voor de modelberekening benodigde bewerkingen
MFU is de waarde die ontstaat door uit het aantal per seconde verwerkte tokens en het aantal voor het model benodigde bewerkingen de snelheid van de werkelijk verrichte nuttige berekening te bepalen en die te delen door de piekprestatie van de GPU. Hij daalt bij wachten op communicatie, geheugenbegrensde bewerkingen, pipeline-bubbles en herberekening. Omdat hij laat zien hoe goed de hardware wordt benut, dient hij als richtlijn voor verbetering van trainingsinstellingen en software.