パイプライン並列란?

ぱいぷらいんへいれつ

モデルの層を順に複数のGPUに分けて受け持つ分散の方法。マイクロバッチを流して、GPUが待つ時間(バブル)を減らす。

일본어 명칭: パイプライン並列

분야: AI 하드웨어·소프트웨어 스택