Computerarithmetiek
Wat is het belangrijkste voordeel van het omzetten (kwantiseren) van gewichten van FP32 naar INT8 bij AI-inferentie?
- ADe rekennauwkeurigheid is altijd hoger dan bij FP32
- BDe hoeveelheid data wordt een vierde, en de berekening gaat sneller en zuiniger
- CDe modelprestaties nemen altijd toe, ook zonder opnieuw te trainen
Antwoord en toelichting tonen
Antwoord: B. De hoeveelheid data wordt een vierde, en de berekening gaat sneller en zuiniger
Wanneer 32-bits gewichten 8 bit worden, wordt het geheugengebruik en de hoeveelheid uit te lezen data een vierde, wat veel effect heeft bij inferentie met beperkte geheugenbandbreedte. Bovendien zijn vermenigvuldigers voor gehele getallen van 8 bit veel kleiner en zuiniger dan drijvendekommavermenigvuldigers, zodat met hetzelfde oppervlak en vermogen meer bewerkingen mogelijk zijn. Daar staat tegenover dat slechts 256 waarden kunnen worden weergegeven, wat fouten veroorzaakt en de nauwkeurigheid enigszins kan verlagen. De nauwkeurigheid of prestaties nemen niet altijd toe.