介面與匯流排規格

在連接大量AI用GPU的系統中,除了PCI Express之外,還會使用連結GPU之間的專用高速連接(NVIDIA的NVLink等),其主要原因為下列何者?

  1. A因為PCI Express連一個GPU都無法連接
  2. B因為使用專用連接後,GPU的記憶體就變得不需要
  3. C因為在大型模型的訓練中,GPU之間要交換大量資料,需要比PCI Express更大的頻寬
查看答案與解析

正確答案:C. 因為在大型模型的訓練中,GPU之間要交換大量資料,需要比PCI Express更大的頻寬

以多個GPU訓練大型AI模型時,計算過程中GPU之間會頻繁交換梯度、參數與中間結果。若這種通訊很慢,GPU就會停下計算等待。連結GPU之間的專用連接,合併了大量高速SerDes通道,能以比PCI Express大上數倍的頻寬直接交換資料。

  • A. GPU通常是以PCI Express連接。
  • B. GPU的記憶體仍然是必要的。
  • C. 正確。因為GPU之間的通訊容易成為效能的限制。
練習這個領域 前往領域頁面

介面與匯流排規格的其他題目

  1. 在PCI Express中,若大量傳送寫入64位元組小量資料的封包,有效頻寬會遠小於理論值。其主要原因為下列何者?
  2. 下列關於網路卡或NVMe SSD等廣泛使用的、利用記憶體上描述子(descriptor)環(ring)的DMA機制,何者正確?
  3. 下列關於PCI Express連結的省電功能(ASPM的L0s或L1狀態),何者正確?
  4. 晶片或電路板之間的高速連接,從排列大量訊號線的並列傳輸,轉變為用少量訊號線傳送高速訊號的串列傳輸,其主要原因為下列何者?
  5. 下列關於高速串列傳輸所使用的SerDes(序列化器/解序列化器)之作用,何者正確?

這個領域的比較