KI-Hardware und Software-Stack
Welcher der folgenden Gründe erklärt nicht, warum das Training deutlich mehr Speicher benötigt als die Inferenz desselben Modells?
- AWeil sich die Zahl der Gewichte beim Training gegenüber der Inferenz vervielfacht
- BWeil für den Backward Pass Zwischenergebnisse des Forward Pass (Aktivierungen) gespeichert werden müssen
- CWeil ebenso viele Gradienten wie Gewichte sowie Optimizer-Zustände vorgehalten werden müssen
Antwort und Erläuterung anzeigen
Antwort: A. Weil sich die Zahl der Gewichte beim Training gegenüber der Inferenz vervielfacht
Die Zahl der Modellgewichte ist beim Training und bei der Inferenz gleich. Beim Training werden jedoch für die Gradientenberechnung im Backward Pass die Zwischenergebnisse des Forward Pass in jeder Schicht gespeichert; hinzu kommen ebenso viele Gradienten wie Gewichte sowie gewichtsbezogene Werte des Optimizers (z. B. Adam mit zwei gleitenden Mittelwerten). Der Speicherbedarf des Trainings ist daher ein Vielfaches des Bedarfs der Inferenz, die nur die Gewichte braucht, und für das Training großer Modelle sind viele GPUs erforderlich.