Schnittstellen und Busstandards
Was ist der Hauptgrund dafür, dass in Systemen mit vielen KI-GPUs eigene schnelle Verbindungen zwischen den GPUs (z. B. NVLink von NVIDIA) zusätzlich zu PCI Express verwendet werden?
- AWeil sich mit PCI Express keine einzige GPU anschließen lässt
- BWeil bei einer eigenen Verbindung der GPU-Speicher nicht mehr benötigt wird
- CWeil beim Training großer Modelle große Datenmengen zwischen den GPUs ausgetauscht werden und dafür mehr Bandbreite als bei PCI Express erforderlich ist
Antwort und Erläuterung anzeigen
Antwort: C. Weil beim Training großer Modelle große Datenmengen zwischen den GPUs ausgetauscht werden und dafür mehr Bandbreite als bei PCI Express erforderlich ist
Wird ein großes KI-Modell auf mehreren GPUs trainiert, tauschen die GPUs im Verlauf der Berechnung häufig Gradienten, Parameter und Zwischenergebnisse aus. Ist diese Kommunikation langsam, müssen die GPUs die Berechnung anhalten und warten. Eigene Verbindungen zwischen GPUs bündeln viele schnelle SerDes-Lanes und ermöglichen mit einer um ein Mehrfaches größeren Bandbreite als bei PCI Express den direkten Datenaustausch.