AI硬體與軟體堆疊
關於將無法放進單一GPU記憶體的大型層之矩陣相乘，分給多顆GPU計算的張量平行，下列說明何者正確？
- A各GPU持有整個模型的副本，將資料分開
- B將權重矩陣沿列或行的方向分割，由各GPU持有，求出部分乘積後，再透過通訊匯整結果
- C將各層放在不同的GPU上，依序處理
查看答案與解析
正確答案：B. 將權重矩陣沿列或行的方向分割，由各GPU持有，求出部分乘積後，再透過通訊匯整結果
在張量平行中，例如將權重矩陣沿行的方向分成4份，由4顆GPU各自持有，各GPU計算相同的輸入與自己負責的行的乘積。最後每一層都需要用於連接或加總結果的通訊，因此一般用於以非常高速的連線串接GPU的同一台伺服器內的GPU。它會與資料平行或管線平行組合，用來訓練巨大的模型。
- A. 那是資料平行。
- B. 正確。是把層內部的計算分開。
- C. 那是管線平行。