KI-Hardware und Software-Stack

Welche Aussage zum Unterschied zwischen „Training“ und „Inferenz“ eines neuronalen Netzes ist richtig?

  1. ABeim Training werden Forward Pass, Backward Pass und Gewichtsaktualisierung wiederholt, um die Gewichte zu bestimmen; bei der Inferenz erzeugt allein der Forward Pass mit festen Gewichten die Antwort
  2. BSowohl Training als auch Inferenz führen nur den Forward Pass aus
  3. CDie Inferenz aktualisiert die Gewichte, das Training verwendet keine Gewichte
Antwort und Erläuterung anzeigen

Antwort: A. Beim Training werden Forward Pass, Backward Pass und Gewichtsaktualisierung wiederholt, um die Gewichte zu bestimmen; bei der Inferenz erzeugt allein der Forward Pass mit festen Gewichten die Antwort

Beim Training wird mit großen Datenmengen wiederholt: Die Eingabe wird schichtweise zur Ausgabe verrechnet (Forward Pass), der Fehler gegenüber der richtigen Antwort wird von der Ausgabe zur Eingabe zurückverfolgt, um den Gradienten jedes Gewichts zu bestimmen (Backward Pass), und die Gewichte werden entsprechend dem Gradienten schrittweise korrigiert. Bei der Inferenz wird mit den beim Training bestimmten Gewichten nur der Forward Pass ausgeführt. Der Backward Pass erfordert etwa den doppelten Rechenaufwand des Forward Pass und benötigt zudem gespeicherte Zwischenergebnisse; das Training ist daher deutlich aufwendiger als die Inferenz.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu KI-Hardware und Software-Stack

  1. Welcher der folgenden Gründe erklärt nicht, warum das Training deutlich mehr Speicher benötigt als die Inferenz desselben Modells?
  2. Ein Modell mit 7 Milliarden (7B) Parametern wird trainiert, wobei Gewichte, Gradienten und beide Adam-Zustände jeweils in FP32 (4 Byte) gehalten werden. Welcher Wert kommt dem Speicherbedarf ohne Aktivierungen am nächsten?
  3. Wie groß ist der Speicherbedarf der Gewichte eines Modells mit 7 Milliarden (7B) Parametern ungefähr, wenn sie in FP16 (2 Byte) gehalten werden?
  4. Das 7B-Modell der vorherigen Frage wird von FP16 (ca. 14 GB) auf 4-Bit-Ganzzahlen (INT4) quantisiert. Wie groß ist der Speicherbedarf der Gewichte danach ungefähr?
  5. Wie viele Gleitkommaoperationen sind für das Produkt einer M×K-Matrix mit einer K×N-Matrix ungefähr nötig (Multiplikationen und Additionen separat gezählt)?