AI-hardware en softwarestack
Welke van de volgende is GEEN reden waarom het geheugen voor training veel groter is dan voor inferentie met hetzelfde model?
- AOmdat het aantal gewichten bij training een veelvoud is van dat bij inferentie
- BOmdat tussenresultaten (activaties) van de voorwaartse propagatie moeten worden opgeslagen voor gebruik bij backpropagation
- COmdat evenveel gradiënten als gewichten en de toestand van de optimizer moeten worden bijgehouden
Antwoord en toelichting tonen
Antwoord: A. Omdat het aantal gewichten bij training een veelvoud is van dat bij inferentie
Het aantal gewichten van het model is bij training en inferentie gelijk. Bij training moeten echter voor de gradiëntberekening bij backpropagation de tussenresultaten van de voorwaartse propagatie per laag worden opgeslagen, en zijn evenveel gradiënten als gewichten nodig, plus waarden per gewicht van de optimizer, zoals Adam (twee voortschrijdende gemiddelden). Het trainingsgeheugen is daardoor een veelvoud van dat voor inferentie, waar alleen gewichten volstaan, en voor het trainen van grote modellen zijn veel GPU's nodig.