머신러닝의 기초

정답 클래스에 대해 모델이 출력한 확률을 p라고 할 때, 분류 학습에서 사용하는 교차 엔트로피 손실 −log p의 성질로 적절한 것은?

  1. Ap가 1에 가까울수록 손실은 0에 가까워지고, p가 0에 가까워질수록 손실은 급격히 커진다
  2. Bp의 값에 관계없이 손실은 정답과 예측의 차이의 제곱에 비례한다
  3. Cp가 0.5일 때 손실이 최대가 되고, p가 0이나 1에 가까울수록 손실은 작아진다
정답과 해설 보기

정답: A. p가 1에 가까울수록 손실은 0에 가까워지고, p가 0에 가까워질수록 손실은 급격히 커진다

교차 엔트로피 손실은 정답 클래스에 할당한 확률 p가 1이면 −log 1 = 0이 되고, p가 작아질수록 커지며, p가 0에 가까워지면 한없이 커집니다. 자연로그로 계산하면 p = 0.5일 때 약 0.69, p = 0.1일 때 약 2.3입니다. 자신 있게 틀린 예측에 큰 벌칙을 주므로, 소프트맥스 함수나 시그모이드 함수로 확률을 출력하는 분류 모델에 자주 사용됩니다. 오차의 제곱을 사용하는 평균 제곱 오차는 주로 연속적인 값을 예측하는 회귀에서 사용됩니다.

이 분야 연습하기 분야로 돌아가기

머신러닝의 기초의 다른 문제

  1. 경사 하강법에서 가중치 w = 2.0에서의 손실의 기울기 ∂L/∂w가 0.5, 학습률이 0.1일 때, 1회 갱신 후의 가중치는?
  2. y = (2x + 1)²의 x = 1에서의 미분 계수 dy/dx를 u = 2x + 1, y = u²로 두고 연쇄 법칙으로 구할 때, 올바른 값은?
  3. 많은 층을 쌓은 신경망에서 활성화 함수로 시그모이드 함수를 사용하면 입력에 가까운 층의 학습이 잘 진행되지 않는 이유로 적절한 것은?
  4. 10,000건의 학습용 데이터를 미니배치 크기(배치 크기) 50으로 학습한다. 1에폭에서의 가중치 갱신 횟수는?
  5. 입력이 64개, 출력이 32개인 완전 연결층(각 출력에 바이어스가 1개씩 있다)의 학습하는 파라미터 수는?