AI硬體與軟體堆疊
在將模型的層依序分給多顆GPU負責的管線平行中，把批次分成較小的微批次（micro-batch）來傳遞，其理由下列何者正確？
- A因為採用微批次會使計算次數減少
- B為了減少後面的GPU等待前面GPU處理而閒置的時間（氣泡），讓多顆GPU同時運作
- C因為採用微批次會使GPU之間不再需要通訊
查看答案與解析
正確答案：B. 為了減少後面的GPU等待前面GPU處理而閒置的時間（氣泡），讓多顆GPU同時運作
若將整個批次一起傳遞，第一顆GPU在計算時，第二顆以後的GPU都在等前一個結果而無事可做。若把批次分成較小的微批次，就能讓第一顆GPU在計算第二個微批次的同時，第二顆GPU計算第一個，如此重疊進行。即便如此，開始與結束時仍會留下等待（氣泡），因此要使微批次的數量夠多。
- A. 計算次數相同。
- B. 正確。與工廠的流水線作業是相同的概念。
- C. 層與層之間傳遞的通訊仍然需要。