テンソル並列とは

てんそるへいれつ

1つの層の重みの行列を行や列の方向に分けて複数のGPUに持たせ、部分的な積を求めてから通信でまとめる分散の方法。

この用語の分野: AIハードウェアとソフトウェアスタック

解説の中の「テンソル並列」

「テンソル並列」が出てくる問題(1問)

  1. 1つのGPUのメモリに収まらない大きな層の行列の積を、複数のGPUで分けて計算するテンソル並列の説明として正しいものはどれか。

関連する用語

GPU データ並列 パイプライン並列 アテンション AIコンパイラ MFU 演算強度 演算の融合 オールリデュース ONNX

用語集の一覧へ