KI-Hardware und Software-Stack
Welche Aussage zur Datenparallelität beim Training auf mehreren GPUs ist richtig?
- AJede GPU hält eine Kopie des gesamten Modells und rechnet auf einem Teil der Daten; die ermittelten Gradienten werden über alle GPUs gemittelt, bevor die Gewichte aktualisiert werden
- BDie Schichten des Modells werden aufgeteilt, und jede GPU ist für andere Schichten zuständig
- CNur eine GPU rechnet, die übrigen GPUs dienen als Reserve
Antwort und Erläuterung anzeigen
Antwort: A. Jede GPU hält eine Kopie des gesamten Modells und rechnet auf einem Teil der Daten; die ermittelten Gradienten werden über alle GPUs gemittelt, bevor die Gewichte aktualisiert werden
Bei der Datenparallelität halten alle GPUs dasselbe Modell, der Batch der Trainingsdaten wird aufgeteilt, und jede GPU führt Forward und Backward Pass aus. Da die Gradienten der GPUs unterschiedlich sind, erfolgt eine Kommunikation (All-Reduce), die die Gradienten über alle GPUs summiert und mittelt; alle aktualisieren die Gewichte mit demselben Gradienten, und die Modellkopien bleiben identisch. Passt das Modell auf eine GPU, ist dies einfach und wirksam, doch mit wachsender GPU-Zahl wird die Kommunikation aufwendig.