경사 하강법에서 가중치 w = 2.0에서의 손실의 기울기 ∂L/∂w가 0.5, 학습률이 0.1일 때, 1회 갱신 후의 가중치는?

정답: B. 1.95

경사 하강법에서는 손실이 작아지는 방향, 즉 기울기와 반대 방향으로 가중치를 움직여 w ← w − η × ∂L/∂w로 갱신합니다(η는 학습률). 이 문제에서는 w = 2.0 − 0.1 × 0.5 = 1.95입니다. 학습률이 너무 크면 손실의 골짜기를 뛰어넘어 진동하거나 발산하고, 너무 작으면 학습이 좀처럼 진행되지 않습니다. 실제 학습에서는 데이터의 일부(미니배치)로 구한 기울기로 갱신을 반복하는 확률적 경사 하강법(SGD)이나, 그 개량판인 Adam 등이 사용됩니다.