Warum beschleunigt eine Quantisierung, bei der nur die Gewichte auf 4 Bit gebracht werden und die Aktivierungen in FP16 bleiben (W4A16), das Decode bei der Inferenz großer Sprachmodelle besonders stark?

Antwort: B. Weil das Decode speicherbegrenzt ist und sich die auf ein Viertel verringerte Lesemenge der Gewichte unmittelbar in der Geschwindigkeit niederschlägt

Das Decode liest für jedes Token alle Gewichte, und seine Geschwindigkeit wird von der Speicherbandbreite bestimmt. Bei 4-Bit-Gewichten sinkt die Lesemenge auf ein Viertel, und selbst wenn sie auf dem Chip wieder in FP16 zurückgewandelt werden, verkürzt sich die Gesamtzeit erheblich. Beim rechenbegrenzten Prefill ist dieser Effekt gering, dort wirkt eine Quantisierung stärker, bei der die Berechnung selbst in geringerer Genauigkeit erfolgt. Je nachdem, wo der Engpass liegt, ändert sich das wirksame Quantisierungsverfahren.