什麼是訓練後量化(Post-training quantization)
針對訓練完成的模型,以具代表性的資料調查權重與激活值的數值範圍後,轉換為低精度的方法。PTQ。
日文名稱: 学習後量子化
這個名詞所屬的領域: AI硬體與軟體堆疊
針對訓練完成的模型,以具代表性的資料調查權重與激活值的數值範圍後,轉換為低精度的方法。PTQ。
日文名稱: 学習後量子化
這個名詞所屬的領域: AI硬體與軟體堆疊
反向傳播(Backpropagation) 全歸約(All-reduce) 批次大小(Batch size) 注意力機制(Attention mechanism) 知識蒸餾(Knowledge distillation) 計算圖(Computational graph) 剪枝(Pruning) 張量平行(Tensor parallelism) 推測式解碼(Speculative decoding) 推論執行環境(Inference runtime)