AI硬體與軟體堆疊
下列何者「不是」訓練所需記憶體遠大於同一模型推論的原因？
- A因為訓練時的權重數量會變成推論的好幾倍
- B因為反向傳播需要用到順向傳播的中間結果（啟動值），所以必須保存下來
- C因為必須持有與權重同樣數量的梯度，以及優化器的狀態
查看答案與解析
正確答案：A. 因為訓練時的權重數量會變成推論的好幾倍
模型的權重數量在訓練與推論時是相同的。然而訓練時，為了在反向傳播中計算梯度，必須在各層保存順向傳播的中間結果，也需要與權重同樣數量的梯度，以及Adam等優化器為每個權重所持有的值（兩個移動平均等）。因此訓練的記憶體是僅需權重的推論的好幾倍，訓練大型模型就需要多顆GPU。
- A. 正確。權重的數量在訓練與推論時相同。
- B. 啟動值的保存佔了訓練記憶體的一大部分。
- C. 梯度與優化器的狀態需要權重數倍的記憶體。