AI硬體與軟體堆疊
關於知識蒸餾(knowledge distillation),下列說明何者正確?
- A將模型的權重加熱使其蒸發而變小
- B以蒸餾水清洗訓練資料
- C讓小型的學生模型去模仿大型教師模型的輸出來進行訓練,以小型模型獲得相近的效能
查看答案與解析
正確答案:C. 讓小型的學生模型去模仿大型教師模型的輸出來進行訓練,以小型模型獲得相近的效能
在知識蒸餾中,以已訓練完成的大型模型(教師)所輸出的答案機率分布等為目標,來訓練小型模型(學生)。學生不僅學到正確答案的標籤,也能學到教師對「哪些答案有多大可能」的判斷資訊,因此即使是小型模型,也能得到接近原模型的效能。它作為減少推論計算與記憶體的方法,會與量化或剪枝搭配使用。
- A. 不是物理處理。
- B. 與化學上的蒸餾無關。
- C. 正確。可減少推論的計算與記憶體。