머신러닝의 기초
정답 클래스에 대해 모델이 출력한 확률을 p라고 할 때, 분류 학습에서 사용하는 교차 엔트로피 손실 −log p의 성질로 적절한 것은?
- Ap가 1에 가까울수록 손실은 0에 가까워지고, p가 0에 가까워질수록 손실은 급격히 커진다
- Bp의 값에 관계없이 손실은 정답과 예측의 차이의 제곱에 비례한다
- Cp가 0.5일 때 손실이 최대가 되고, p가 0이나 1에 가까울수록 손실은 작아진다
정답과 해설 보기
정답: A. p가 1에 가까울수록 손실은 0에 가까워지고, p가 0에 가까워질수록 손실은 급격히 커진다
교차 엔트로피 손실은 정답 클래스에 할당한 확률 p가 1이면 −log 1 = 0이 되고, p가 작아질수록 커지며, p가 0에 가까워지면 한없이 커집니다. 자연로그로 계산하면 p = 0.5일 때 약 0.69, p = 0.1일 때 약 2.3입니다. 자신 있게 틀린 예측에 큰 벌칙을 주므로, 소프트맥스 함수나 시그모이드 함수로 확률을 출력하는 분류 모델에 자주 사용됩니다. 오차의 제곱을 사용하는 평균 제곱 오차는 주로 연속적인 값을 예측하는 회귀에서 사용됩니다.