AI-hardware en softwarestack
Wat is het doel van "kalibratie" bij post-training quantization waarbij activaties naar INT8 worden gekwantiseerd?
- ARepresentatieve invoerdata doorrekenen om het waardenbereik van de activaties van elke laag te bepalen en de kwantisatieschaal vast te stellen
- BDe klok van de GPU nauwkeurig afstellen
- CDe weergave van kleuren op het scherm aanpassen
Antwoord en toelichting tonen
Antwoord: A. Representatieve invoerdata doorrekenen om het waardenbereik van de activaties van elke laag te bepalen en de kwantisatieschaal vast te stellen
De waarden van de gewichten liggen na de training vast, maar die van de activaties hangen van de invoer af. Daarom worden enkele honderden invoeren die op het werkelijke gebruik lijken doorgerekend om het waardenbereik en de verdeling van de activaties van elke laag te onderzoeken en te bepalen welk bereik op −127 tot 127 van INT8 wordt afgebeeld (de schaal). Bij afstemming op de maximumwaarde gaat door uitschieters nauwkeurigheid verloren, zodat het bereik soms iets wordt verkleind zodat het grootste deel van de verdeling erin past.