Nederlands
Menu

Wat is Regularisatie?

Een methode om overfitting te beperken door bij de verliesfunctie een strafterm op te tellen die afhangt van de grootte van de gewichten, zodat de gewichten niet te groot worden. L1-regularisatie, die de som van de absolute waarden van de gewichten optelt, maakt gemakkelijk sommige gewichten precies nul, terwijl L2-regularisatie (weight decay), die de som van de kwadraten van de gewichten optelt, de gewichten over het geheel kleiner maakt. De sterkte van de straf is een hyperparameter die met kruisvalidatie of vergelijkbare middelen wordt gekozen. In bredere zin worden ook dropout, early stopping en andere technieken om het generalisatievermogen te verbeteren samen regularisatie genoemd.

Japanse benaming: 正則化

“Regularisatie” komt voor in 2 oefenvragen uit 1 onderwerpen, bijv. Basis van machine learning.

Vakgebied: Basis van machine learning

Nu oefenen: vragen over Regularisatie

Welke beschrijving van regularisatie en verwante methoden om overfitting te beperken is juist?

  1. AL1-regularisatie telt de som van de absolute waarden van de gewichten bij het verlies op en maakt daardoor gemakkelijk sommige gewichten precies nul
  2. BL2-regularisatie telt de som van de absolute waarden van de gewichten bij het verlies op en selecteert sterk kenmerken door onnodige gewichten op nul te zetten
  3. CDropout schakelt zowel bij het trainen als bij de inferentie telkens willekeurig neuronen uit, zodat de uitvoer enige spreiding krijgt
Antwoord en toelichting tonen

Antwoord: A. L1-regularisatie telt de som van de absolute waarden van de gewichten bij het verlies op en maakt daardoor gemakkelijk sommige gewichten precies nul

Regularisatie telt bij de verliesfunctie een strafterm op die afhangt van de grootte van de gewichten; zo worden te grote gewichten voorkomen en blijft het model eenvoudig. L1-regularisatie telt de som van de absolute waarden van de gewichten op en maakt gemakkelijk sommige gewichten precies nul, zodat ze de gebruikte kenmerken selecteert (lassoregressie). L2-regularisatie telt de som van de kwadraten van de gewichten op en maakt de gewichten over het geheel kleiner, maar die worden zelden precies nul (ridgeregressie, weight decay). Dropout schakelt alleen tijdens het trainen willekeurig neuronen uit, zodat het netwerk niet te sterk op bepaalde neuronen leunt; bij de inferentie worden alle neuronen gebruikt.

“Regularisatie” in de toelichting

Vragen met “Regularisatie” (2)

  1. Welke beschrijving van regularisatie en verwante methoden om overfitting te beperken is juist?
  2. Wat is er te zien als er overfitting optreedt?

Verwante termen

Overfitting (overaanpassing) Inferentie (inference) Activatiefunctie Convolutioneel neuraal netwerk (CNN) Gesuperviseerd leren (supervised learning) Gradiëntafdaling (gradient descent) Hoofdcomponentenanalyse (PCA) k-means-clustering Kruisvalidatie (cross-validation) Ongesuperviseerd leren (unsupervised learning)

Naar de woordenlijst