Welche Aussage zur Tensorparallelität, bei der das Matrixprodukt einer großen Schicht, die nicht in den Speicher einer GPU passt, auf mehrere GPUs aufgeteilt wird, ist richtig?

Antwort: B. Die Gewichtsmatrix wird zeilen- oder spaltenweise aufgeteilt und auf die GPUs verteilt; nach der Berechnung von Teilprodukten werden die Ergebnisse per Kommunikation zusammengeführt

Bei der Tensorparallelität wird die Gewichtsmatrix z. B. spaltenweise in vier Teile geteilt und auf vier GPUs verteilt; jede GPU berechnet das Produkt der gleichen Eingabe mit den ihr zugewiesenen Spalten. Da am Ende je Schicht eine Kommunikation zum Zusammenfügen oder Aufsummieren der Ergebnisse nötig ist, wird sie üblicherweise bei GPUs innerhalb desselben Servers eingesetzt, die über sehr schnelle Verbindungen gekoppelt sind. In Kombination mit Daten- und Pipeline-Parallelität werden damit riesige Modelle trainiert.