한국어
메뉴

정보 이론과 부호의 기초

정보량(확률 p인 사건이 일어났다는 사실을 전달받았을 때의 −log₂ p)의 성질로 올바른 것은?

  1. A확률 1로 반드시 일어나는 사건이 일어났다는 사실을 전달받았을 때의 정보량은 1비트이다
  2. B독립인 두 사건이 모두 일어났다는 사실을 전달받았을 때의 정보량은 각각의 정보량의 합이 된다
  3. C일어날 확률이 높은 사건일수록, 일어났다는 사실을 전달받았을 때의 정보량은 크다
정답과 해설 보기

정답: B. 독립인 두 사건이 모두 일어났다는 사실을 전달받았을 때의 정보량은 각각의 정보량의 합이 된다

독립인 두 사건이 모두 일어날 확률은 p₁ × p₂이므로, 정보량은 −log₂(p₁ × p₂) = (−log₂ p₁) + (−log₂ p₂)가 되어 각각의 정보량의 합이 됩니다. 정보량을 로그로 정의하는 것은 이러한 덧셈의 성질을 갖게 하기 위해서입니다. 반드시 일어나는 사건은 전달받아도 새로 알게 되는 것이 없으므로, 정보량은 −log₂ 1 = 0입니다.

이 분야 연습하기 분야로 돌아가기

정보 이론과 부호의 기초의 다른 문제

  1. 기호 A, B, C, D를 각각 확률 1/2, 1/4, 1/8, 1/8로 서로 독립적으로 내는 정보원이 있다. 이 정보원의 엔트로피(1기호당 평균 정보량)는?
  2. 8종류의 기호를 내는 정보원의 엔트로피의 최댓값과, 최대가 되는 조건의 조합으로 올바른 것은?
  3. 0을 확률 0.9, 1을 확률 0.1로 서로 독립적으로 내는 이진 정보원이 있다. log₂ 0.9 ≈ −0.152, log₂ 0.1 ≈ −3.32로 한다. 이 정보원의 엔트로피에 가장 가까운 것은?
  4. 8종류의 기호를 내는 정보원의 엔트로피가 2.4비트였다. 중복도를 1 − (엔트로피 ÷ 최대 엔트로피)로 정의할 때, 이 정보원의 중복도는?
  5. 두 확률 변수 X, Y에 대하여, 조건부 엔트로피 H(X|Y)와 상호 정보량 I(X;Y)의 설명으로 올바른 것은?