머신러닝의 기초
과적합을 억제하는 정칙화 등의 기법에 대한 설명으로 적절한 것은?
- AL1 정칙화는 가중치의 절댓값의 합을 손실에 더하는 것으로, 일부 가중치가 정확히 0이 되기 쉽다
- BL2 정칙화는 가중치의 절댓값의 합을 손실에 더하는 것으로, 불필요한 가중치를 0으로 만들어 특성을 좁혀 들어가는 작용이 강하다
- C드롭아웃은 학습에서도 추론에서도 매번 무작위로 뉴런을 무효로 하여 출력에 변동을 준다
정답과 해설 보기
정답: A. L1 정칙화는 가중치의 절댓값의 합을 손실에 더하는 것으로, 일부 가중치가 정확히 0이 되기 쉽다
정칙화는 손실 함수에 가중치의 크기에 따른 벌칙을 더하여 가중치가 너무 커지는 것을 막고, 모델을 단순하게 유지하는 방법입니다. L1 정칙화는 가중치의 절댓값의 합을 더하며, 일부 가중치가 정확히 0이 되기 쉬우므로 사용하는 특성을 좁혀 들어가는 작용이 있습니다(라쏘 회귀). L2 정칙화는 가중치의 제곱의 합을 더하며, 가중치를 전체적으로 작게 하지만 정확히 0은 되기 어려운 성질이 있습니다(릿지 회귀, 가중치 감쇠). 드롭아웃은 학습할 때만 무작위로 뉴런을 무효로 하여 특정 뉴런에 지나치게 의존하지 않도록 하는 방법이며, 추론할 때는 모든 뉴런을 사용합니다.