Quelle définition du parallélisme de tenseur, qui répartit sur plusieurs GPU le produit matriciel d'une grande couche ne tenant pas dans la mémoire d'un seul GPU, est correcte ?

Réponse : B. La matrice de poids est découpée par lignes ou par colonnes entre les GPU, qui calculent des produits partiels dont les résultats sont ensuite réunis par communication

En parallélisme de tenseur, la matrice de poids est par exemple découpée en quatre selon les colonnes et répartie sur quatre GPU, chacun calculant le produit de la même entrée par ses colonnes. Une communication pour concaténer ou additionner les résultats étant nécessaire à chaque couche, il est généralement utilisé entre GPU d'un même serveur reliés par des liaisons très rapides. Il se combine avec les parallélismes de données et de pipeline pour entraîner des modèles gigantesques.