Welche Funktion hat die beim verteilten Training verwendete Kommunikationsoperation All-Reduce?

Antwort: B. Sie summiert die Werte (z. B. Gradienten) aller GPUs und verteilt die Summe an alle GPUs

All-Reduce ist eine Kommunikation, bei der die gleichförmigen Tensoren aller GPUs elementweise addiert werden (Reduce) und alle GPUs das Ergebnis erhalten. Beim Ring-All-Reduce sind die GPUs ringförmig verbunden und reichen die in kleine Teile zerlegten Daten an die jeweilige Nachbar-GPU weiter; die Kommunikationsmenge je GPU bleibt auch bei wachsender GPU-Zahl nahezu konstant. Beim Training mit Datenparallelität wird diese Kommunikation für die Mittelung der Gradienten in jedem Schritt verwendet.