機械学習の基礎
勾配降下法で、重み w = 2.0 における損失の勾配 ∂L/∂w が0.5、学習率が0.1のとき、1回の更新後の重みはどれか。
- A1.5
- B1.95
- C2.05
答えと解説を見る
正解：B. 1.95
勾配降下法では、損失が小さくなる向き、つまり勾配と逆の向きに重みを動かし、w ← w − η × ∂L/∂w と更新します(ηは学習率)。この問いでは、w = 2.0 − 0.1 × 0.5 = 1.95です。学習率が大きすぎると損失の谷を飛び越えて振動したり発散したりし、小さすぎると学習がなかなか進みません。実際の学習では、データの一部(ミニバッチ)で求めた勾配で更新を繰り返す確率的勾配降下法(SGD)や、その改良であるAdamなどが使われます。
- A. 学習率を掛け忘れて、勾配の0.5をそのまま引いた値です。
- B. 正しい。2.0 − 0.1 × 0.5 = 1.95です。
- C. 勾配を足した値で、損失が大きくなる向きに重みを動かしています。