Bij de kwantisatie van grote taalmodellen neemt de nauwkeurigheid gemakkelijk af als slechts enkele kanalen grote uitschieters hebben. Welke maatregel is gebruikelijk?

Antwoord: C. In plaats van één schaal voor de hele tensor een schaal per kanaal of per kleine groep gebruiken

Bij kwantisatie van de hele tensor met één schaal wordt het bereik opgerekt naar een paar grote uitschieters, zodat de overige kleine waarden slechts met weinig niveaus kunnen worden weergegeven. Met een schaal per kanaal of per groep van 64 tot 128 elementen blijft de invloed van uitschieters beperkt tot die groep. Ook andere methoden worden gebruikt, zoals het verplaatsen van uitschieters naar de gewichten vóór het kwantiseren.