Ein kleines neuronales Netz mit den Eingaben x₁ = 1 und x₂ = 2 hat zwei Neuronen in der verborgenen Schicht, h₁ = ReLU(x₁ + x₂ − 1) und h₂ = ReLU(x₁ − 2x₂ + 1), und die Ausgabe y = 2h₁ + 3h₂ + 1. Welchen Wert hat y?

Antwort: B. 5

ReLU ist eine Aktivierungsfunktion, die eine positive Eingabe unverändert und bei einer Eingabe von 0 oder weniger 0 ausgibt. h₁ = ReLU(1 + 2 − 1) = ReLU(2) = 2 und h₂ = ReLU(1 − 4 + 1) = ReLU(−2) = 0, also y = 2 × 2 + 3 × 0 + 1 = 5. Diese Berechnung Schicht für Schicht von der Eingabe zur Ausgabe heißt Forward Pass (Vorwärtsdurchlauf).