입력이 x₁ = 1, x₂ = 2인 작은 신경망에서 은닉층의 두 뉴런이 h₁ = ReLU(x₁ + x₂ − 1), h₂ = ReLU(x₁ − 2x₂ + 1)이고, 출력이 y = 2h₁ + 3h₂ + 1이다. y의 값은?

정답: B. 5

ReLU는 입력이 양수이면 그대로, 0 이하이면 0을 출력하는 활성화 함수입니다. h₁ = ReLU(1 + 2 − 1) = ReLU(2) = 2, h₂ = ReLU(1 − 4 + 1) = ReLU(−2) = 0이므로, y = 2 × 2 + 3 × 0 + 1 = 5입니다. 이처럼 입력에서 출력으로 층의 순서대로 계산을 진행하는 것을 순전파라고 부릅니다.