KI-Hardware und Software-Stack
Was ist der Zweck der „Kalibrierung“ bei der Post-Training-Quantisierung, bei der Aktivierungen nach INT8 quantisiert werden?
- ARepräsentative Eingabedaten werden durchgeschickt, um den Wertebereich der Aktivierungen jeder Schicht zu ermitteln und die Quantisierungsskala festzulegen
- BDer Gang des GPU-Takts wird exakt abgeglichen
- CDie Farbwiedergabe des Bildschirms wird eingestellt
Antwort und Erläuterung anzeigen
Antwort: A. Repräsentative Eingabedaten werden durchgeschickt, um den Wertebereich der Aktivierungen jeder Schicht zu ermitteln und die Quantisierungsskala festzulegen
Die Werte der Gewichte stehen nach dem Training fest, die der Aktivierungen hängen jedoch von der Eingabe ab. Deshalb werden einige hundert Eingaben, die dem realen Einsatz nahekommen, durchgeschickt, um Wertebereich und Verteilung der Aktivierungen jeder Schicht zu ermitteln und festzulegen, welcher Bereich auf −127 bis 127 von INT8 abgebildet wird (Skala). Da eine Ausrichtung am Maximalwert wegen Ausreißern Feinheit kostet, wird der Bereich bisweilen etwas enger gewählt, sodass der größte Teil der Verteilung hineinpasst.