Interfaces d'E/S et bus
Dans les systèmes reliant de nombreux GPU pour l'IA, quelle est la principale raison de l'utilisation de liaisons rapides dédiées entre GPU (comme NVLink de NVIDIA), distinctes de PCI Express ?
- AParce que PCI Express ne permet de relier aucun GPU
- BParce qu'une liaison dédiée rend la mémoire du GPU inutile
- CParce que l'entraînement de grands modèles implique l'échange de grandes quantités de données entre GPU et exige une bande passante supérieure à celle de PCI Express
Afficher la réponse et l'explication
Réponse : C. Parce que l'entraînement de grands modèles implique l'échange de grandes quantités de données entre GPU et exige une bande passante supérieure à celle de PCI Express
Lors de l'entraînement d'un grand modèle d'IA sur plusieurs GPU, les gradients, les paramètres et les résultats intermédiaires sont fréquemment échangés entre GPU en cours de calcul. Si cette communication est lente, les GPU interrompent leurs calculs et attendent. Les liaisons dédiées entre GPU regroupent de nombreuses voies SerDes rapides et permettent d'échanger directement des données avec une bande passante plusieurs fois supérieure à celle de PCI Express.