Computerarithmetik

Wie werden die beiden FP8-Formate E4M3 (Exponent 4, Mantisse 3 Bit) und E5M2 (Exponent 5, Mantisse 2 Bit) üblicherweise unterschieden eingesetzt?

  1. AE4M3 für Gewichte und Aktivierungen, E5M2 für Gradienten
  2. BBeide haben gleiche Genauigkeit und gleichen Bereich und werden ohne Unterscheidung verwendet
  3. CE4M3 wird als Ganzzahl, E5M2 als Gleitkommazahl verwendet
Antwort und Erläuterung anzeigen

Antwort: A. E4M3 für Gewichte und Aktivierungen, E5M2 für Gradienten

Je nachdem, wie die begrenzten 8 Bit auf Exponent und Mantisse aufgeteilt werden, ändern sich die Eigenschaften. E4M3 hat 1 Mantissenbit mehr und ist genauer, dafür ist der Bereich enger; E5M2 hat 1 Exponentenbit mehr und einen weiteren Bereich, dafür ist die Genauigkeit geringer. Üblich ist daher E4M3 für Gewichte und Aktivierungen, deren Größenordnung einigermaßen einheitlich ist, und E5M2 für Gradienten, deren Größe stark streut. Beide sind Gleitkommaformate, keine Ganzzahlen.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu Computerarithmetik

  1. Was ist der Hauptvorteil der Umwandlung (Quantisierung) der Gewichte von FP32 in INT8 bei der KI-Inferenz?
  2. Daten im Wertebereich −6.35 bis 6.35 werden auf ein um 0 symmetrisches INT8 (−127 bis 127) quantisiert. Mit dem Skalierungsfaktor „größter Betrag ÷ 127“: Durch welche ganze Zahl wird 1.0 dargestellt?
  3. Was ist der Hauptgrund, warum bei kleinen Mikrocontrollern und DSPs häufig Festkomma- statt Gleitkommaarithmetik verwendet wird?
  4. Welche Kombination aus Schrittweite (Auflösung) und Bereich gilt für das 16-Bit-Festkommaformat Q15 mit Vorzeichen (15 Nachkommabits)?
  5. Wie ist das Ergebnis zu behandeln, wenn zwei Festkommazahlen mit je 8 Nachkommabits mit einem Ganzzahlmultiplizierer multipliziert werden?