パイプライン並列とは
ぱいぷらいんへいれつ
モデルの層を順に複数のGPUに分けて受け持つ分散の方法。マイクロバッチを流して、GPUが待つ時間(バブル)を減らす。
この用語の分野: AIハードウェアとソフトウェアスタック
解説の中の「パイプライン並列」
データ並列やパイプライン並列と組み合わせて、巨大なモデルを学習します。
1つのGPUのメモリに収まらない大きな層の行列の積を、複数のGPUで分けて計算するテンソル並列の説明として正しいものは…
「パイプライン並列」が出てくる問題(2問)
関連する用語
GPU テンソル並列 データ並列 アテンション AIコンパイラ MFU 演算強度 演算の融合 オールリデュース ONNX