Was ist Datenparallelität?

Verteiltes Training, bei dem jede GPU eine vollständige Modellkopie hält, ihren Anteil der Daten verarbeitet und die Gradienten vor der Aktualisierung über die GPUs gemittelt werden.

Japanische Bezeichnung: データ並列

Fachgebiet: KI-Hardware und Software-Stack

Verwandte Begriffe

All-Reduce Arithmetische Intensität Attention-Mechanismus Backpropagation (Fehlerrückführung) Batchgröße Berechnungsgraph FlashAttention Gradient Checkpointing Inferenz-Laufzeitumgebung (Inference Runtime) KI-Compiler

Zurück zum Glossar