Beim Gradientenabstieg hat der Gradient des Verlusts ∂L/∂w beim Gewicht w = 2,0 den Wert 0,5, und die Lernrate beträgt 0,1. Wie groß ist das Gewicht nach einer Aktualisierung?

Antwort: B. 1,95

Der Gradientenabstieg verschiebt das Gewicht in die Richtung, in der der Verlust sinkt, also entgegen dem Gradienten, und aktualisiert w ← w − η × ∂L/∂w (η ist die Lernrate). Hier gilt w = 2,0 − 0,1 × 0,5 = 1,95. Ist die Lernrate zu groß, springt das Gewicht über das Tal des Verlusts hinweg und schwingt oder divergiert; ist sie zu klein, kommt das Training nur sehr langsam voran. In der Praxis werden der stochastische Gradientenabstieg (SGD), der Aktualisierungen mit Gradienten auf einem Teil der Daten (einem Mini-Batch) wiederholt, und Weiterentwicklungen wie Adam verwendet.