Welche Aussage zum Unterschied zwischen Post-Training Quantization (PTQ) und Quantization-Aware Training (QAT) ist richtig?

Antwort: B. PTQ quantisiert ein trainiertes Modell unmittelbar, QAT bildet die Auswirkungen der Quantisierung im Training nach und passt die Gewichte so an, dass der Fehler auch bei geringer Genauigkeit klein bleibt

Bei der Post-Training Quantization werden Gewichte (und Aktivierungen) eines fertig trainierten Modells nach Ermittlung des Wertebereichs anhand weniger repräsentativer Daten in eine geringere Genauigkeit überführt; das ist einfach, doch die Genauigkeit sinkt umso leichter, je mehr Bits eingespart werden. Beim Quantization-Aware Training wird die Rundung durch die Quantisierung im Forward Pass des Trainings nachgebildet und die Gewichte werden einschließlich dieses Fehlers angepasst, sodass sich die Genauigkeit auch bei geringer Genauigkeit wie 4 Bit leichter halten lässt.