テンソル並列란?

てんそるへいれつ

1つの層の重みの行列を行や列の方向に分けて複数のGPUに持たせ、部分的な積を求めてから通信でまとめる分散の方法。

일본어 명칭: テンソル並列

분야: AI 하드웨어·소프트웨어 스택