Een klein neuraal netwerk met de invoer x₁ = 1 en x₂ = 2 heeft twee verborgen neuronen h₁ = ReLU(x₁ + x₂ − 1) en h₂ = ReLU(x₁ − 2x₂ + 1) en de uitvoer y = 2h₁ + 3h₂ + 1. Wat is de waarde van y?

Antwoord: B. 5

ReLU is een activatiefunctie die een positieve invoer ongewijzigd doorgeeft en bij een invoer van 0 of minder 0 uitvoert. h₁ = ReLU(1 + 2 − 1) = ReLU(2) = 2 en h₂ = ReLU(1 − 4 + 1) = ReLU(−2) = 0, dus y = 2 × 2 + 3 × 0 + 1 = 5. Deze berekening laag voor laag van de invoer naar de uitvoer heet voorwaartse propagatie (forward pass).