什麼是資料平行（Data parallelism）

各 GPU 持有整個模型的副本，分割資料進行運算，並在所有 GPU 上平均梯度後再更新權重的分散式訓練方法。

日文名稱: データ並列

「資料平行（Data parallelism）」出現在1領域的1道練習題中（CPU與架構等）。

這個名詞所屬的領域: AI硬體與軟體堆疊

練習資料平行（Data parallelism）的題目

以一道指令同時對多筆資料進行相同運算的方式是下列何者？

  1. ASISD
  2. BSIMD
  3. CMISD
查看答案與解析

正確答案：B. SIMD

SIMD 是以一道指令對多筆資料平行進行相同運算的方式，例如 512 位元的暫存器可一次計算 16 個 32 位元的數值。有 x86 的 SSE、AVX，ARM 的 NEON、SVE 等，在影像處理、視訊壓縮、矩陣運算等方面可獲得數倍以上的加速。依弗林分類法（Flynn's taxonomy），另外還有 SISD（一般的循序處理）、MIMD（多核心）等。

解析中的「資料平行（Data parallelism）」

出現「資料平行（Data parallelism）」的題目（1題）

  1. 以一道指令同時對多筆資料進行相同運算的方式是下列何者？

相關名詞

SIMD 反向傳播（Backpropagation） 全歸約（All-reduce） 批次大小（Batch size） 注意力機制（Attention mechanism） 知識蒸餾（Knowledge distillation） 計算圖（Computational graph） 訓練後量化（Post-training quantization） 剪枝（Pruning） 張量平行（Tensor parallelism）

前往名詞解釋列表