AI硬體與軟體堆疊

關於知識蒸餾(knowledge distillation),下列說明何者正確?

  1. A將模型的權重加熱使其蒸發而變小
  2. B以蒸餾水清洗訓練資料
  3. C讓小型的學生模型去模仿大型教師模型的輸出來進行訓練,以小型模型獲得相近的效能
查看答案與解析

正確答案:C. 讓小型的學生模型去模仿大型教師模型的輸出來進行訓練,以小型模型獲得相近的效能

在知識蒸餾中,以已訓練完成的大型模型(教師)所輸出的答案機率分布等為目標,來訓練小型模型(學生)。學生不僅學到正確答案的標籤,也能學到教師對「哪些答案有多大可能」的判斷資訊,因此即使是小型模型,也能得到接近原模型的效能。它作為減少推論計算與記憶體的方法,會與量化或剪枝搭配使用。

  • A. 不是物理處理。
  • B. 與化學上的蒸餾無關。
  • C. 正確。可減少推論的計算與記憶體。
練習這個領域 前往領域頁面

AI硬體與軟體堆疊的其他題目

  1. 關於以多顆GPU訓練的資料平行,下列說明何者正確?
  2. 關於將無法放進單一GPU記憶體的大型層之矩陣相乘,分給多顆GPU計算的張量平行,下列說明何者正確?
  3. 在將模型的層依序分給多顆GPU負責的管線平行中,把批次分成較小的微批次(micro-batch)來傳遞,其理由下列何者正確?
  4. 關於分散式訓練中使用的All-Reduce通訊之作用,下列何者正確?
  5. 關於訓練中使用的梯度檢查點(重新計算啟動值),下列說明何者正確?