Computerarithmetik

Was ist der Hauptvorteil der Umwandlung (Quantisierung) der Gewichte von FP32 in INT8 bei der KI-Inferenz?

  1. ADie Rechengenauigkeit ist stets höher als bei FP32
  2. BDie Datenmenge sinkt auf ein Viertel, und es kann schneller und energiesparender gerechnet werden
  3. CDie Modellleistung steigt auch ohne erneutes Training stets
Antwort und Erläuterung anzeigen

Antwort: B. Die Datenmenge sinkt auf ein Viertel, und es kann schneller und energiesparender gerechnet werden

Werden 32-Bit-Gewichte auf 8 Bit reduziert, sinken Speicherbedarf und Lesemenge auf ein Viertel, was bei der Inferenz mit begrenzter Speicherbandbreite große Wirkung hat. Zudem sind 8-Bit-Ganzzahlmultiplizierer viel kleiner und energiesparender als Gleitkommamultiplizierer, sodass bei gleicher Fläche und Leistung mehr Operationen möglich sind. Dafür sind nur 256 Werte darstellbar, was Fehler verursacht und die Genauigkeit etwas verringern kann. Die Genauigkeit steigt nicht, und auch die Leistung steigt nicht zwangsläufig.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu Computerarithmetik

  1. Daten im Wertebereich −6.35 bis 6.35 werden auf ein um 0 symmetrisches INT8 (−127 bis 127) quantisiert. Mit dem Skalierungsfaktor „größter Betrag ÷ 127“: Durch welche ganze Zahl wird 1.0 dargestellt?
  2. Was ist der Hauptgrund, warum bei kleinen Mikrocontrollern und DSPs häufig Festkomma- statt Gleitkommaarithmetik verwendet wird?
  3. Welche Kombination aus Schrittweite (Auflösung) und Bereich gilt für das 16-Bit-Festkommaformat Q15 mit Vorzeichen (15 Nachkommabits)?
  4. Wie ist das Ergebnis zu behandeln, wenn zwei Festkommazahlen mit je 8 Nachkommabits mit einem Ganzzahlmultiplizierer multipliziert werden?
  5. Welche Aussage zur Sättigungsarithmetik in der Signalverarbeitung ist korrekt?