Bei der Quantisierung großer Sprachmodelle sinkt die Genauigkeit leicht, wenn einige wenige Kanäle große Ausreißer aufweisen. Welche Gegenmaßnahme ist üblich?

Antwort: C. Statt einer Skala für den gesamten Tensor wird eine Skala je Kanal oder je kleiner Gruppe verwendet

Wird der gesamte Tensor mit einer Skala quantisiert, weitet sich der Bereich auf die wenigen großen Ausreißer aus, und die große Mehrheit der übrigen kleinen Werte kann nur noch mit wenigen Stufen dargestellt werden. Mit einer Skala je Kanal oder je Gruppe von 64 bis 128 Elementen bleibt der Einfluss eines Ausreißers auf diese Gruppe beschränkt. Es werden auch weitere Maßnahmen eingesetzt, etwa Ausreißer vor der Quantisierung auf die Gewichtsseite zu verlagern.