Quel est le rôle de la communication all-reduce utilisée en entraînement distribué ?

Réponse : B. Additionner les valeurs (gradients, etc.) détenues par tous les GPU et distribuer cette somme à tous les GPU

L'all-reduce additionne élément par élément les tenseurs de même forme détenus par chaque GPU (réduction) et transmet le résultat à tous les GPU. Avec la méthode en anneau (ring all-reduce), où les GPU sont reliés en boucle et se passent les données découpées en fragments, le volume de communication par GPU reste presque constant quand le nombre de GPU augmente. En parallélisme de données, cette communication sert à moyenner les gradients à chaque itération.