Deutsch
Menü

Was ist Regularisierung?

Ein Verfahren gegen Überanpassung, das der Verlustfunktion einen Strafterm hinzufügt, der von der Größe der Gewichte abhängt, und so zu große Gewichte verhindert. Die L1-Regularisierung, die die Summe der Beträge der Gewichte addiert, setzt leicht einige Gewichte genau auf 0, während die L2-Regularisierung (Weight Decay), die die Summe der Quadrate der Gewichte addiert, die Gewichte insgesamt verkleinert. Die Stärke des Strafterms ist ein Hyperparameter und wird etwa per Kreuzvalidierung bestimmt. Im weiteren Sinn werden auch Dropout, Early Stopping und andere Maßnahmen zur Verbesserung der Generalisierung zusammenfassend als Regularisierung bezeichnet.

Japanische Bezeichnung: 正則化

„Regularisierung“ kommt in 2 Übungsfragen aus 1 Themen vor, z. B. Grundlagen des maschinellen Lernens.

Fachgebiet: Grundlagen des maschinellen Lernens

Jetzt üben: Fragen zu Regularisierung

Welche Beschreibung der Regularisierung und verwandter Verfahren gegen Überanpassung trifft zu?

  1. ADie L1-Regularisierung addiert die Summe der Beträge der Gewichte zum Verlust und führt leicht dazu, dass einige Gewichte genau 0 werden
  2. BDie L2-Regularisierung addiert die Summe der Beträge der Gewichte zum Verlust und bewirkt eine starke Merkmalsauswahl, indem sie nicht benötigte Gewichte auf 0 setzt
  3. CDropout deaktiviert sowohl beim Training als auch bei der Inferenz jedes Mal zufällig Neuronen, um die Ausgabe streuen zu lassen
Antwort und Erläuterung anzeigen

Antwort: A. Die L1-Regularisierung addiert die Summe der Beträge der Gewichte zum Verlust und führt leicht dazu, dass einige Gewichte genau 0 werden

Regularisierung addiert zur Verlustfunktion einen Strafterm, der von der Größe der Gewichte abhängt; so werden zu große Gewichte verhindert und das Modell einfach gehalten. Die L1-Regularisierung addiert die Summe der Beträge der Gewichte und führt leicht dazu, dass einige Gewichte genau 0 werden; sie wählt also die verwendeten Merkmale aus (Lasso-Regression). Die L2-Regularisierung addiert die Summe der Quadrate der Gewichte und verkleinert die Gewichte insgesamt, doch diese werden selten genau 0 (Ridge-Regression, Weight Decay). Dropout deaktiviert nur beim Training zufällig Neuronen, damit sich das Netz nicht zu sehr auf bestimmte Neuronen verlässt; bei der Inferenz werden alle Neuronen verwendet.

„Regularisierung“ in den Erläuterungen

Fragen mit „Regularisierung“ (2)

  1. Welche Beschreibung der Regularisierung und verwandter Verfahren gegen Überanpassung trifft zu?
  2. Woran erkennt man, dass Überanpassung (Overfitting) auftritt?

Verwandte Begriffe

Überanpassung (Overfitting) Inferenz Aktivierungsfunktion Bestärkendes Lernen (Reinforcement Learning) Convolutional Neural Network (CNN) Gradientenabstieg (Gradient Descent) Hauptkomponentenanalyse (PCA) k-Means-Algorithmus Konfusionsmatrix (Wahrheitsmatrix) Kreuzvalidierung

Zur Glossarübersicht