AI硬體與軟體堆疊

在將啟動值量化為INT8的訓練後量化中,所進行的「校準(calibration)」之目的,下列何者正確?

  1. A輸入具代表性的資料,查看各層啟動值的數值範圍,以決定量化的縮放比例
  2. B精確地對齊GPU時脈的快慢
  3. C調整螢幕的顏色呈現
查看答案與解析

正確答案:A. 輸入具代表性的資料,查看各層啟動值的數值範圍,以決定量化的縮放比例

權重在訓練結束時數值就已確定,但啟動值的數值會因輸入而改變。因此要輸入數百筆接近實際使用情況的資料,查看各層啟動值所取的數值範圍與分布,決定要讓哪個範圍對應到INT8的-127~127(縮放比例)。若以最大值為準,會因離群值而失去細緻度,因此有時會將範圍稍微縮窄,使分布的大部分能納入其中。

  • A. 正確。範圍的決定方式會左右精度。
  • B. 不是時脈的調整。
  • C. 不是螢幕的調整。
練習這個領域 前往領域頁面

AI硬體與軟體堆疊的其他題目

  1. 在大型語言模型的量化中,若只有極少數通道存在很大的離群值,精度容易下降。下列何者是常見的對策?
  2. 在大型語言模型的推論中,啟動值維持FP16、只把權重轉為4位元的量化(W4A16),對加速解碼特別有效,其原因下列何者正確?
  3. 關於神經網路的剪枝(pruning),下列何者正確?
  4. 關於GPU的矩陣運算單元所支援的「2:4結構化稀疏」,下列說明何者正確?
  5. 關於知識蒸餾(knowledge distillation),下列說明何者正確?