什麼是剪枝(Pruning)
將神經網路中影響較小的權重設為 0,以減少運算與記憶體的方法。以固定形式設為 0 的結構化方式,在硬體上較容易加速。
日文名稱: プルーニング
這個名詞所屬的領域: AI硬體與軟體堆疊
將神經網路中影響較小的權重設為 0,以減少運算與記憶體的方法。以固定形式設為 0 的結構化方式,在硬體上較容易加速。
日文名稱: プルーニング
這個名詞所屬的領域: AI硬體與軟體堆疊
反向傳播(Backpropagation) 全歸約(All-reduce) 批次大小(Batch size) 注意力機制(Attention mechanism) 知識蒸餾(Knowledge distillation) 計算圖(Computational graph) 訓練後量化(Post-training quantization) 張量平行(Tensor parallelism) 推測式解碼(Speculative decoding) 推論執行環境(Inference runtime)