データ並列とは
でーたへいれつ
各GPUがモデル全体の複製を持ち、データを分けて計算し、勾配を全GPUで平均してから重みを更新する分散学習の方法。
この用語の分野: AIハードウェアとソフトウェアスタック
解説の中の「データ並列」
データ並列では、すべてのGPUが同じモデルを持ち、学習データのバッチを分けて、それぞれ順伝播と逆伝播を行います。
複数のGPUで学習するデータ並列の説明として正しいものはどれか。GPUは何千ものスレッドに同じ処理を割り振って並列に動かすので、画像の各画素の処理、行列の掛け算、ベクトルの演算のように、多数の要素を独立に計算できる仕事(データ並列)で力を発揮します。
GPUで速く処理できる仕事の特徴として最も適切なものはどれか。データ並列やパイプライン並列と組み合わせて、巨大なモデルを学習します。
1つのGPUのメモリに収まらない大きな層の行列の積を、複数のGPUで分けて計算するテンソル並列の説明として正しいものは…
「データ並列」が出てくる問題(4問)
関連する用語
GPU オールリデュース 逆伝播 テンソル並列 パイプライン並列 アテンション AIコンパイラ MFU 演算強度 演算の融合