Basis van machine learning
Waarom zijn in een neuraal netwerk met veel gestapelde lagen de lagen dicht bij de invoer moeilijk te trainen als de sigmoïdefunctie als activatiefunctie wordt gebruikt?
- ADe afgeleide van de sigmoïdefunctie is hoogstens 0,25, zodat de gradiënt bij backpropagatie bij elke laag kleiner wordt en in de lagen dicht bij de invoer bijna 0 is
- BDe uitvoer van de sigmoïdefunctie blijft niet binnen het bereik van 0 tot 1, zodat de waarden bij elke laag groter worden en de berekening overloopt
- CDe sigmoïdefunctie heeft punten waarin ze niet differentieerbaar is, zodat sommige lagen bij backpropagatie geen gradiënt kunnen krijgen
Antwoord en toelichting tonen
Antwoord: A. De afgeleide van de sigmoïdefunctie is hoogstens 0,25, zodat de gradiënt bij backpropagatie bij elke laag kleiner wordt en in de lagen dicht bij de invoer bijna 0 is
Bij backpropagatie worden de afgeleiden van de activatiefuncties van opeenvolgende lagen een voor een met de gradiënt vermenigvuldigd. De afgeleide van de sigmoïdefunctie, σ(z)(1 − σ(z)), is hoogstens 0,25, zodat de gradiënt na bijvoorbeeld 10 lagen krimpt tot 0,25¹⁰ ≈ 9,5 × 10⁻⁷. Dit heet het probleem van de verdwijnende gradiënt (vanishing gradient). Tegenmaatregelen zijn ReLU gebruiken, waarvan de afgeleide in het positieve bereik 1 is, residuele verbindingen (skip connections) toevoegen die signalen langs lagen heen doorgeven, de beginwaarden van de gewichten zorgvuldig kiezen en batchnormalisatie gebruiken.