什麼是量化感知訓練（Quantization-aware training）

在訓練中模擬量化造成的捨入，並連同該誤差一併調整權重的方法。QAT。即使位元數低也容易維持精度。

日文名稱: 量子化を考慮した学習

「量化感知訓練（Quantization-aware training）」出現在1領域的1道練習題中（AI硬體與軟體堆疊等）。

這個名詞所屬的領域: AI硬體與軟體堆疊

練習量化感知訓練（Quantization-aware training）的題目

訓練後量化（PTQ）與量化感知訓練（QAT）的差異，下列何者正確？

  1. APTQ在訓練之前量化，QAT在訓練之後量化
  2. BPTQ直接將訓練完成的模型量化，QAT則在訓練中模擬量化的影響，調整權重使得即使精度較低誤差也較小
  3. CPTQ與QAT都是不進行量化的方法
查看答案與解析

正確答案：B. PTQ直接將訓練完成的模型量化，QAT則在訓練中模擬量化的影響，調整權重使得即使精度較低誤差也較小

訓練後量化是先以少量具代表性的資料查看訓練完成之模型的權重（與啟動值）的數值範圍，再轉為較低精度的方法，雖然簡便，但位元數減得越多，精度越容易下降。量化感知訓練則在訓練的順向傳播中模擬量化造成的捨入，連同該誤差一併調整權重，因此即使在4位元這類低精度下也容易維持精度。

解析中的「量化感知訓練（Quantization-aware training）」

出現「量化感知訓練（Quantization-aware training）」的題目（1題）

  1. 訓練後量化（PTQ）與量化感知訓練（QAT）的差異，下列何者正確？

相關名詞

訓練後量化（Post-training quantization） 反向傳播（Backpropagation） 全歸約（All-reduce） 批次大小（Batch size） 注意力機制（Attention mechanism） 知識蒸餾（Knowledge distillation） 計算圖（Computational graph） 剪枝（Pruning） 張量平行（Tensor parallelism） 推測式解碼（Speculative decoding）

前往名詞解釋列表