머신러닝의 기초
많은 층을 쌓은 신경망에서 활성화 함수로 시그모이드 함수를 사용하면 입력에 가까운 층의 학습이 잘 진행되지 않는 이유로 적절한 것은?
- A시그모이드 함수의 미분은 최대라도 0.25이므로, 역전파에서 층을 지날 때마다 기울기가 작아져 입력에 가까운 층에서는 거의 0이 되기 때문
- B시그모이드 함수는 출력이 0에서 1의 범위에 들어가지 않으므로, 층을 지날 때마다 값이 커져 계산이 넘쳐 버리기 때문
- C시그모이드 함수에는 미분할 수 없는 점이 있으므로, 역전파에서 기울기를 구할 수 없는 층이 생기기 때문
정답과 해설 보기
정답: A. 시그모이드 함수의 미분은 최대라도 0.25이므로, 역전파에서 층을 지날 때마다 기울기가 작아져 입력에 가까운 층에서는 거의 0이 되기 때문
역전파에서는 각 층의 활성화 함수의 미분이 기울기에 잇달아 곱해집니다. 시그모이드 함수의 미분은 σ(z)(1 − σ(z))로 최대라도 0.25이므로, 예를 들어 10층을 지나면 0.25¹⁰ ≈ 9.5 × 10⁻⁷로 기울기는 매우 작아집니다. 이를 기울기 소실이라고 부릅니다. 대책으로는 양의 범위에서 미분이 1이 되는 ReLU를 사용하기, 층을 건너뛰어 신호를 전달하는 잔차 연결(스킵 연결)을 넣기, 가중치의 초깃값을 궁리하기, 배치 정규화를 사용하기 등의 방법이 있습니다.