Deutsch
Menü

Grundlagen des maschinellen Lernens

Bei einer Klassifikation mit drei Klassen betragen die Eingabewerte der Softmax-Funktion (Logits) 3, 1 und 0. Etwa das Wievielfache der Ausgabe (Wahrscheinlichkeit) der zweiten Klasse ist die Ausgabe der ersten Klasse? Welcher Wert liegt am nächsten?

  1. ADas 2-Fache
  2. BDas 3-Fache
  3. CDas 7,4-Fache
Antwort und Erläuterung anzeigen

Antwort: C. Das 7,4-Fache

Die Softmax-Funktion wandelt jeden Wert zᵢ in exp(zᵢ) ÷ Σexp(zⱼ) um und liefert so Wahrscheinlichkeiten, deren Summe 1 ist. Der Nenner ist für alle Klassen gleich, das Verhältnis der Ausgaben zweier Klassen beträgt also exp(3) ÷ exp(1) = e² ≈ 7,4. Das Verhältnis der Ausgaben hängt somit nur von der Differenz der Logits ab; eine Differenz von 2 macht die Wahrscheinlichkeit etwa 7,4-mal so groß. Addiert man zu allen Logits dieselbe Zahl, ändern sich die Ausgaben nicht.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu Grundlagen des maschinellen Lernens

  1. Ein kleines neuronales Netz mit den Eingaben x₁ = 1 und x₂ = 2 hat zwei Neuronen in der verborgenen Schicht, h₁ = ReLU(x₁ + x₂ − 1) und h₂ = ReLU(x₁ − 2x₂ + 1), und die Ausgabe y = 2h₁ + 3h₂ + 1. Welchen Wert hat y?
  2. Sei p die Wahrscheinlichkeit, die ein Modell für die richtige Klasse ausgibt. Welche Beschreibung des beim Training von Klassifikatoren verwendeten Kreuzentropie-Verlusts −log p trifft zu?
  3. Beim Gradientenabstieg hat der Gradient des Verlusts ∂L/∂w beim Gewicht w = 2,0 den Wert 0,5, und die Lernrate beträgt 0,1. Wie groß ist das Gewicht nach einer Aktualisierung?
  4. Die Ableitung dy/dx von y = (2x + 1)² an der Stelle x = 1 wird mit der Kettenregel und u = 2x + 1, y = u² bestimmt. Welcher Wert ist richtig?
  5. Was ist der Grund dafür, dass sich in einem neuronalen Netz mit vielen gestapelten Schichten die eingangsnahen Schichten schlecht trainieren lassen, wenn als Aktivierungsfunktion die Sigmoidfunktion verwendet wird?