オールリデュースとは
おーるりでゅーす
全GPUが持つ値を要素ごとに合計し、その結果をすべてのGPUに配る通信。データ並列の学習で勾配の平均に使う。
この用語の分野: AIハードウェアとソフトウェアスタック
解説の中の「オールリデュース」
オールリデュースは、各GPUが持つ同じ形のテンソルを要素ごとに足し合わせ(リデュース)、その結果を全GPUが受け取る通信です。
分散学習で使われるオールリデュース(All-Reduce)の通信の働きとして正しいものはどれか。各GPUの勾配は違うので、全GPUで勾配を合計して平均する通信(オールリデュース)を行い、全員が同じ勾配で重みを更新して、モデルの複製を同じに保ちます。
複数のGPUで学習するデータ並列の説明として正しいものはどれか。