Was ist Aktivierungsfunktion?
Die Funktion, die in jedem Neuron eines neuronalen Netzes auf die gewichtete Summe seiner Eingaben (plus einen Bias) angewendet wird. Eine nichtlineare Funktion ermöglicht es, dass ein Netz mit gestapelten Schichten komplexe Zusammenhänge darstellt. In verborgenen Schichten ist ReLU verbreitet, in Ausgabeschichten werden oft die Sigmoidfunktion für die Klassifikation mit zwei Klassen, die Softmax-Funktion für die Klassifikation mit mehreren Klassen und für die Regression die Identitätsfunktion (die nichts verändert) verwendet.
Japanische Bezeichnung: 活性化関数
„Aktivierungsfunktion“ kommt in 5 Übungsfragen aus 2 Themen vor, z. B. Grundlagen des maschinellen Lernens, KI-Hardware und Software-Stack.
Fachgebiet: Grundlagen des maschinellen Lernens
Typische Funktionen
Die Sigmoidfunktion σ(z) = 1 ÷ (1 + e^(−z)) hält ihre Ausgabe zwischen 0 und 1, sodass sie als Wahrscheinlichkeit behandelt werden kann. tanh hält ihre Ausgabe zwischen −1 und 1, zentriert um 0. ReLU(z) = max(0, z) ist eine einfache Funktion, die positive Eingaben unverändert durchlässt und für Eingaben von 0 oder weniger 0 ausgibt; sie ist billig zu berechnen, und ihr Gradient verschwindet nicht so leicht, daher ist sie die Standardwahl für verborgene Schichten tiefer Netze. Auch geglättete Varianten von ReLU wie GELU sind weit verbreitet.
Bezug zu verschwindenden Gradienten
Bei Eingaben mit großem Betrag gehen die Sigmoidfunktion und tanh in einen konstanten Ausgabewert über, und ihre Ableitungen werden fast 0. Die Ableitung der Sigmoidfunktion beträgt höchstens 0,25; mit gestapelten Schichten schrumpft der Gradient bei der Backpropagation daher multiplikativ, und die eingangsnahen Schichten lernen schlecht (verschwindender Gradient). ReLU hat im positiven Bereich die Ableitung 1, daher schrumpft ihr Gradient nicht so leicht. Andererseits behält ein Neuron, dessen Eingabe stets negativ ist, den Gradienten 0 und hört auf zu lernen; deshalb gibt es Varianten wie Leaky ReLU, die auch dem negativen Bereich eine kleine Steigung geben.
Häufige Fragen
Ist die Softmax-Funktion eine Aktivierungsfunktion?
Sie wird als eine der Aktivierungsfunktionen für die Ausgabeschicht bei der Klassifikation mit mehreren Klassen behandelt. Von den anderen unterscheidet sie sich dadurch, dass sie nicht auf jedes Neuron einzeln wirkt, sondern alle Werte der Ausgabeschicht verwendet und sie in Wahrscheinlichkeiten mit der Summe 1 umwandelt.
Hat sie etwas mit der „Aktivierung“ in der Halbleiterfertigung zu tun?
Nein. Die Aktivierungsfunktion eines neuronalen Netzes ist danach benannt, dass sie das Erregen (Feuern) einer Nervenzelle nachahmt. Die Aktivierung in der Halbleiterfertigung bezeichnet eine Wärmebehandlung, durch die implantierte Dotieratome Gitterplätze im Kristall einnehmen und Ladungsträger liefern können.