Quelle définition du parallélisme de données pour l'entraînement sur plusieurs GPU est correcte ?

Réponse : A. Chaque GPU détient une copie complète du modèle et calcule sur une partie des données ; les gradients obtenus sont moyennés sur tous les GPU avant la mise à jour des poids

En parallélisme de données, tous les GPU détiennent le même modèle et se partagent le lot de données d'entraînement, chacun effectuant propagation avant et rétropropagation. Les gradients des GPU différant, une communication additionne et moyenne les gradients sur tous les GPU (all-reduce) ; tous mettent à jour les poids avec le même gradient et les copies du modèle restent identiques. Simple et efficace si le modèle tient dans un GPU, il voit sa communication s'alourdir quand le nombre de GPU augmente.