Was ist All-Reduce?

Kommunikationsoperation, die die von allen GPUs gehaltenen Werte elementweise summiert und das Ergebnis an jede GPU gibt; dient zur Mittelung der Gradienten beim datenparallelen Training.

Japanische Bezeichnung: オールリデュース

Fachgebiet: KI-Hardware und Software-Stack

Verwandte Begriffe

Arithmetische Intensität Attention-Mechanismus Backpropagation (Fehlerrückführung) Batchgröße Berechnungsgraph Datenparallelität FlashAttention Gradient Checkpointing Inferenz-Laufzeitumgebung (Inference Runtime) KI-Compiler

Zurück zum Glossar