손실 함수에 가중치의 크기에 따른 벌칙 항을 더하여 가중치가 너무 커지는 것을 막고, 과적합을 억제하는 방법. 규제라고도 한다. '정규화'로 번역되기도 하지만, 데이터의 값을 일정한 범위로 맞추는 정규화(normalization)와는 다른 개념이다. 가중치의 절댓값의 합을 더하는 L1 정칙화는 일부 가중치를 정확히 0으로 만들기 쉽고, 가중치의 제곱의 합을 더하는 L2 정칙화(가중치 감쇠)는 가중치를 전체적으로 작게 한다. 벌칙의 세기는 하이퍼파라미터로서 교차 검증 등으로 정한다. 넓은 의미로는 드롭아웃이나 조기 종료 등 일반화 성능을 높이기 위한 방법을 통틀어 정칙화라고 부르기도 한다.
일본어 명칭: 正則化
정칙화(Regularization)은(는) 머신러닝의 기초 등 1개 분야의 연습 문제 2개에 나와요.
분야: 머신러닝의 기초
정답: A. L1 정칙화는 가중치의 절댓값의 합을 손실에 더하는 것으로, 일부 가중치가 정확히 0이 되기 쉽다
정칙화는 손실 함수에 가중치의 크기에 따른 벌칙을 더하여 가중치가 너무 커지는 것을 막고, 모델을 단순하게 유지하는 방법입니다. L1 정칙화는 가중치의 절댓값의 합을 더하며, 일부 가중치가 정확히 0이 되기 쉬우므로 사용하는 특성을 좁혀 들어가는 작용이 있습니다(라쏘 회귀). L2 정칙화는 가중치의 제곱의 합을 더하며, 가중치를 전체적으로 작게 하지만 정확히 0은 되기 어려운 성질이 있습니다(릿지 회귀, 가중치 감쇠). 드롭아웃은 학습할 때만 무작위로 뉴런을 무효로 하여 특정 뉴런에 지나치게 의존하지 않도록 하는 방법이며, 추론할 때는 모든 뉴런을 사용합니다.
정칙화는 손실 함수에 가중치의 크기에 따른 벌칙을 더하여 가중치가 너무 커지는 것을 막고, 모델을 단순하게 유지하는 방법입니다.
과적합을 억제하는 정칙화 등의 기법에 대한 설명으로 적절한 것은?대책으로는 데이터를 늘리기, 모델을 단순하게 하기, 정칙화나 드롭아웃, 검증용 데이터에서의 오차가 오르기 시작한 시점에서 학습을 멈추는 조기 종료 등이 있습니다.
과적합(과대적합)이 일어나고 있을 때 보이는 모습으로 적절한 것은?과적합(Overfitting) 추론(Inference) 강화 학습(Reinforcement Learning) 경사 하강법(Gradient Descent) 교차 검증(Cross-validation) 비지도 학습(Unsupervised Learning) 순환 신경망(RNN) 전이 학습(Transfer Learning) 정밀도와 재현율(Precision and Recall) 주성분 분석(PCA)