關於分散式訓練中使用的All-Reduce通訊之作用，下列何者正確？

正確答案：B. 將所有GPU持有的值（梯度等）加總，並把加總結果分送給所有GPU

All-Reduce是將各GPU持有的相同形狀的張量逐元素相加（reduce），並讓所有GPU都收到結果的通訊。以環狀串接GPU，一邊將資料細分一邊傳給鄰居的方法（Ring All-Reduce），即使GPU數量增加，每台的通訊量也大致維持固定。在資料平行的訓練中，每次的梯度平均都使用這個通訊。

• A. 不是刪除資料的處理。
• B. 正確。用於資料平行的梯度平均。
• C. 不是電源的操作。