機器學習基礎
在梯度下降法中，權重 w = 2.0 處損失的梯度 ∂L/∂w 為0.5、學習率為0.1時，更新一次後的權重為何者？
- A1.5
- B1.95
- C2.05
查看答案與解析
正確答案：B. 1.95
梯度下降法將權重朝損失變小的方向，也就是與梯度相反的方向移動，以 w ← w − η × ∂L/∂w 更新（η為學習率）。本題中 w = 2.0 − 0.1 × 0.5 = 1.95。學習率過大時會越過損失的谷底而振盪或發散，過小時訓練則遲遲無法進展。實際訓練中，會使用以部分資料（小批次）求得的梯度反覆更新的隨機梯度下降法（SGD），以及其改良版Adam等。
- A. 這是忘了乘上學習率，直接減去梯度0.5的值。
- B. 正確。2.0 − 0.1 × 0.5 = 1.95。
- C. 這是加上梯度的值，把權重往損失變大的方向移動了。