什麼是反向傳播(Backpropagation)
在神經網路的訓練中,將輸出與正確答案的誤差從輸出側往輸入側回溯傳遞,求出各權重梯度的運算。
日文名稱: 逆伝播
這個名詞所屬的領域: AI硬體與軟體堆疊
在神經網路的訓練中,將輸出與正確答案的誤差從輸出側往輸入側回溯傳遞,求出各權重梯度的運算。
日文名稱: 逆伝播
這個名詞所屬的領域: AI硬體與軟體堆疊
全歸約(All-reduce) 批次大小(Batch size) 注意力機制(Attention mechanism) 知識蒸餾(Knowledge distillation) 計算圖(Computational graph) 訓練後量化(Post-training quantization) 剪枝(Pruning) 張量平行(Tensor parallelism) 推測式解碼(Speculative decoding) 推論執行環境(Inference runtime)