Basis van machine learning

Bij gradiëntafdaling is de gradiënt van het verlies ∂L/∂w bij het gewicht w = 2,0 gelijk aan 0,5 en is de leersnelheid 0,1. Wat is het gewicht na één update?

A1,5
B1,95
C2,05

Antwoord en toelichting tonen

Antwoord: B. 1,95

Gradiëntafdaling verplaatst het gewicht in de richting waarin het verlies afneemt, dus tegen de gradiënt in, met de update w ← w − η × ∂L/∂w (η is de leersnelheid). Hier is w = 2,0 − 0,1 × 0,5 = 1,95. Is de leersnelheid te groot, dan schiet het gewicht over het dal van het verlies heen en gaat het oscilleren of divergeren; is ze te klein, dan vordert het trainen maar heel langzaam. In de praktijk worden stochastische gradiëntafdaling (SGD), die updates herhaalt met gradiënten die op een deel van de gegevens (een minibatch) zijn berekend, en verbeterde varianten zoals Adam gebruikt.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over Basis van machine learning

De afgeleide dy/dx van y = (2x + 1)² bij x = 1 wordt met de kettingregel bepaald, met u = 2x + 1 en y = u². Welke waarde is juist?
Waarom zijn in een neuraal netwerk met veel gestapelde lagen de lagen dicht bij de invoer moeilijk te trainen als de sigmoïdefunctie als activatiefunctie wordt gebruikt?
Een model wordt getraind op 10.000 trainingsgegevens met een minibatchgrootte (batchgrootte) van 50. Hoeveel keer worden de gewichten in één epoch bijgewerkt?
Hoeveel trainbare parameters heeft een volledig verbonden laag met 64 ingangen en 32 uitgangen (met één bias per uitgang)?
Een beeld van 28×28 met één kanaal wordt geconvolueerd met een filter van 5×5 (stride 1, geen padding), gevolgd door max-pooling van 2×2 (stride 2). Wat zijn de hoogte en breedte van de uitvoer?