什麼是管線平行（Pipeline parallelism）
將模型的各層依序分給多個 GPU 負責的分散方法。藉由送入微批次（micro-batch），減少 GPU 的等待時間（氣泡）。
日文名稱: パイプライン並列
「管線平行（Pipeline parallelism）」出現在1領域的2道練習題中（AI硬體與軟體堆疊等）。
這個名詞所屬的領域: AI硬體與軟體堆疊
練習管線平行（Pipeline parallelism）的題目
在將模型的層依序分給多顆GPU負責的管線平行中，把批次分成較小的微批次（micro-batch）來傳遞，其理由下列何者正確？
- A因為採用微批次會使計算次數減少
- B為了減少後面的GPU等待前面GPU處理而閒置的時間（氣泡），讓多顆GPU同時運作
- C因為採用微批次會使GPU之間不再需要通訊
查看答案與解析
正確答案：B. 為了減少後面的GPU等待前面GPU處理而閒置的時間（氣泡），讓多顆GPU同時運作
若將整個批次一起傳遞，第一顆GPU在計算時，第二顆以後的GPU都在等前一個結果而無事可做。若把批次分成較小的微批次，就能讓第一顆GPU在計算第二個微批次的同時，第二顆GPU計算第一個，如此重疊進行。即便如此，開始與結束時仍會留下等待（氣泡），因此要使微批次的數量夠多。
解析中的「管線平行（Pipeline parallelism）」
它會與資料平行或管線平行組合，用來訓練巨大的模型。
關於將無法放進單一GPU記憶體的大型層之矩陣相乘，分給多顆GPU計算的張量平行，下列說明何者正確？
出現「管線平行（Pipeline parallelism）」的題目（2題）
相關名詞
GPU 張量平行（Tensor parallelism） 資料平行（Data parallelism） 反向傳播（Backpropagation） 全歸約（All-reduce） 批次大小（Batch size） 注意力機制（Attention mechanism） 知識蒸餾（Knowledge distillation） 計算圖（Computational graph） 訓練後量化（Post-training quantization）