En descente de gradient, le gradient de la perte ∂L/∂w vaut 0,5 pour le poids w = 2,0, et le taux d'apprentissage vaut 0,1. Quelle est la valeur du poids après une mise à jour ?

Réponse : B. 1,95

La descente de gradient déplace le poids dans le sens où la perte diminue, c'est-à-dire dans le sens opposé au gradient : w ← w − η × ∂L/∂w (η étant le taux d'apprentissage). Ici, w = 2,0 − 0,1 × 0,5 = 1,95. Un taux d'apprentissage trop grand fait sauter par-dessus la vallée de la perte, ce qui provoque oscillations ou divergence ; trop petit, il fait progresser l'apprentissage très lentement. En pratique, on utilise la descente de gradient stochastique (SGD), qui répète les mises à jour avec des gradients calculés sur une partie des données (un mini-lot), ou ses variantes améliorées comme Adam.