AI硬體與軟體堆疊
訓練後量化(PTQ)與量化感知訓練(QAT)的差異,下列何者正確?
- APTQ在訓練之前量化,QAT在訓練之後量化
- BPTQ直接將訓練完成的模型量化,QAT則在訓練中模擬量化的影響,調整權重使得即使精度較低誤差也較小
- CPTQ與QAT都是不進行量化的方法
查看答案與解析
正確答案:B. PTQ直接將訓練完成的模型量化,QAT則在訓練中模擬量化的影響,調整權重使得即使精度較低誤差也較小
訓練後量化是先以少量具代表性的資料查看訓練完成之模型的權重(與啟動值)的數值範圍,再轉為較低精度的方法,雖然簡便,但位元數減得越多,精度越容易下降。量化感知訓練則在訓練的順向傳播中模擬量化造成的捨入,連同該誤差一併調整權重,因此即使在4位元這類低精度下也容易維持精度。
- A. PTQ是在訓練之後進行。
- B. 正確。QAT雖然較費功夫,卻是容易維持精度的方法。
- C. 兩者都是量化的方法。