什麼是張量平行（Tensor parallelism）
將單一層的權重矩陣沿列或行方向分割，交由多個 GPU 持有，求出部分乘積後再透過通訊彙整的分散方法。
日文名稱: テンソル並列
這個名詞所屬的領域: AI硬體與軟體堆疊
相關名詞
反向傳播（Backpropagation） 全歸約（All-reduce） 批次大小（Batch size） 注意力機制（Attention mechanism） 知識蒸餾（Knowledge distillation） 計算圖（Computational graph） 訓練後量化（Post-training quantization） 剪枝（Pruning） 推測式解碼（Speculative decoding） 推論執行環境（Inference runtime）