オールリデュース란?

おーるりでゅーす

全GPUが持つ値を要素ごとに合計し、その結果をすべてのGPUに配る通信。データ並列の学習で勾配の平均に使う。

일본어 명칭: オールリデュース

분야: AI 하드웨어·소프트웨어 스택