介面與匯流排規格
在連接大量AI用GPU的系統中,除了PCI Express之外,還會使用連結GPU之間的專用高速連接(NVIDIA的NVLink等),其主要原因為下列何者?
- A因為PCI Express連一個GPU都無法連接
- B因為使用專用連接後,GPU的記憶體就變得不需要
- C因為在大型模型的訓練中,GPU之間要交換大量資料,需要比PCI Express更大的頻寬
查看答案與解析
正確答案:C. 因為在大型模型的訓練中,GPU之間要交換大量資料,需要比PCI Express更大的頻寬
以多個GPU訓練大型AI模型時,計算過程中GPU之間會頻繁交換梯度、參數與中間結果。若這種通訊很慢,GPU就會停下計算等待。連結GPU之間的專用連接,合併了大量高速SerDes通道,能以比PCI Express大上數倍的頻寬直接交換資料。
- A. GPU通常是以PCI Express連接。
- B. GPU的記憶體仍然是必要的。
- C. 正確。因為GPU之間的通訊容易成為效能的限制。