AI硬體與軟體堆疊

關於神經網路的「訓練」與「推論」之差異,下列何者正確?

  1. A訓練是反覆進行順向傳播、反向傳播與權重更新來決定權重,推論則以固定的權重只做順向傳播來得出答案
  2. B訓練與推論都只做順向傳播
  3. C推論會更新權重,訓練不使用權重
查看答案與解析

正確答案:A. 訓練是反覆進行順向傳播、反向傳播與權重更新來決定權重,推論則以固定的權重只做順向傳播來得出答案

訓練時,會用大量資料反覆進行以下步驟:依序計算輸入以求得輸出(順向傳播)、從輸出端往輸入端回溯正確答案的誤差以求出各權重的梯度(反向傳播),再依梯度一點一點地修正權重。推論則是使用訓練所決定的權重,只做順向傳播。反向傳播所需的計算量約為順向傳播的2倍,而且還要保存中間結果,因此訓練是比推論沉重許多的處理。

  • A. 正確。訓練所需的計算量與記憶體都遠多於推論。
  • B. 訓練時也會進行反向傳播與權重更新。
  • C. 正好相反。
練習這個領域 前往領域頁面

AI硬體與軟體堆疊的其他題目

  1. 下列何者「不是」訓練所需記憶體遠大於同一模型推論的原因?
  2. 以FP32(4位元組)持有權重、梯度與Adam的兩個狀態,來訓練參數量70億(7B)的模型。排除啟動值後,所需記憶體最接近下列何者?
  3. 若以FP16(2位元組)持有參數量70億(7B)的模型權重,權重的記憶體大約是多少?
  4. 將上一題的7B模型從FP16(約14 GB)量化為4位元整數(INT4),權重的記憶體大約是多少?
  5. 計算M×K矩陣與K×N矩陣的乘積時,浮點運算的次數(乘法與加法分開計算)大約是多少?