AI硬體與軟體堆疊

訓練後量化(PTQ)與量化感知訓練(QAT)的差異,下列何者正確?

  1. APTQ在訓練之前量化,QAT在訓練之後量化
  2. BPTQ直接將訓練完成的模型量化,QAT則在訓練中模擬量化的影響,調整權重使得即使精度較低誤差也較小
  3. CPTQ與QAT都是不進行量化的方法
查看答案與解析

正確答案:B. PTQ直接將訓練完成的模型量化,QAT則在訓練中模擬量化的影響,調整權重使得即使精度較低誤差也較小

訓練後量化是先以少量具代表性的資料查看訓練完成之模型的權重(與啟動值)的數值範圍,再轉為較低精度的方法,雖然簡便,但位元數減得越多,精度越容易下降。量化感知訓練則在訓練的順向傳播中模擬量化造成的捨入,連同該誤差一併調整權重,因此即使在4位元這類低精度下也容易維持精度。

  • A. PTQ是在訓練之後進行。
  • B. 正確。QAT雖然較費功夫,卻是容易維持精度的方法。
  • C. 兩者都是量化的方法。
練習這個領域 前往領域頁面

AI硬體與軟體堆疊的其他題目

  1. 在將啟動值量化為INT8的訓練後量化中,所進行的「校準(calibration)」之目的,下列何者正確?
  2. 在大型語言模型的量化中,若只有極少數通道存在很大的離群值,精度容易下降。下列何者是常見的對策?
  3. 在大型語言模型的推論中,啟動值維持FP16、只把權重轉為4位元的量化(W4A16),對加速解碼特別有效,其原因下列何者正確?
  4. 關於神經網路的剪枝(pruning),下列何者正確?
  5. 關於GPU的矩陣運算單元所支援的「2:4結構化稀疏」,下列說明何者正確?