データ並列란?

でーたへいれつ

各GPUがモデル全体の複製を持ち、データを分けて計算し、勾配を全GPUで平均してから重みを更新する分散学習の方法。

일본어 명칭: データ並列

분야: AI 하드웨어·소프트웨어 스택