Grundlagen des maschinellen Lernens

Die Ableitung dy/dx von y = (2x + 1)² an der Stelle x = 1 wird mit der Kettenregel und u = 2x + 1, y = u² bestimmt. Welcher Wert ist richtig?

  1. A6
  2. B9
  3. C12
Antwort und Erläuterung anzeigen

Antwort: C. 12

Nach der Kettenregel gilt dy/dx = (dy/du) × (du/dx). dy/du = 2u und du/dx = 2, und bei x = 1 ist u = 3, also dy/dx = 2 × 3 × 2 = 12. Backpropagation wendet diese Kettenregel schrittweise von der Ausgabe- zur Eingabeseite an, um den Gradienten des Verlusts bezüglich der Gewichte aller Schichten effizient zu berechnen. Jede Schicht multipliziert den von der nachfolgenden Schicht erhaltenen Gradienten mit ihrer eigenen lokalen Ableitung und gibt das Ergebnis an die vorhergehende Schicht weiter.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu Grundlagen des maschinellen Lernens

  1. Was ist der Grund dafür, dass sich in einem neuronalen Netz mit vielen gestapelten Schichten die eingangsnahen Schichten schlecht trainieren lassen, wenn als Aktivierungsfunktion die Sigmoidfunktion verwendet wird?
  2. Ein Modell wird mit 10.000 Trainingsdatenpunkten und einer Mini-Batch-Größe (Batchgröße) von 50 trainiert. Wie viele Gewichtsaktualisierungen gibt es in einer Epoche?
  3. Wie viele trainierbare Parameter hat eine vollständig verbundene Schicht mit 64 Eingaben und 32 Ausgaben (mit einem Bias je Ausgabe)?
  4. Ein einkanaliges Bild mit 28×28 Pixeln wird mit einem 5×5-Filter gefaltet (Stride 1, kein Padding), anschließend folgt ein 2×2-Max-Pooling (Stride 2). Wie groß sind Höhe und Breite der Ausgabe?
  5. Welche Beschreibung rekurrenter neuronaler Netze (RNN) und von LSTM trifft zu?