Was ist der Grund dafür, dass sich in einem neuronalen Netz mit vielen gestapelten Schichten die eingangsnahen Schichten schlecht trainieren lassen, wenn als Aktivierungsfunktion die Sigmoidfunktion verwendet wird?

Antwort: A. Die Ableitung der Sigmoidfunktion beträgt höchstens 0,25; bei der Backpropagation wird der Gradient daher mit jeder Schicht kleiner und ist in den eingangsnahen Schichten fast 0

Bei der Backpropagation werden die Ableitungen der Aktivierungsfunktionen aufeinanderfolgender Schichten nacheinander in den Gradienten hineinmultipliziert. Die Ableitung der Sigmoidfunktion, σ(z)(1 − σ(z)), beträgt höchstens 0,25; nach zum Beispiel 10 Schichten schrumpft der Gradient auf 0,25¹⁰ ≈ 9,5 × 10⁻⁷. Das nennt man das Problem des verschwindenden Gradienten (Vanishing Gradient). Gegenmaßnahmen sind ReLU, dessen Ableitung im positiven Bereich 1 ist, Residualverbindungen (Skip Connections), die Signale an Schichten vorbeileiten, eine sorgfältige Wahl der Anfangsgewichte und Batch-Normalisierung.