한국어
메뉴

정보 이론과 부호의 기초

기호 A, B, C, D를 각각 확률 1/2, 1/4, 1/8, 1/8로 서로 독립적으로 내는 정보원이 있다. 이 정보원의 엔트로피(1기호당 평균 정보량)는?

  1. A1.75비트
  2. B2비트
  3. C2.25비트
정답과 해설 보기

정답: A. 1.75비트

엔트로피는 각 기호의 정보량 −log₂ p를 확률로 가중 평균한 것으로, H = Σ(−p log₂ p)입니다. 각 기호의 정보량은 1, 2, 3, 3비트이므로, H = 1/2 × 1 + 1/4 × 2 + 1/8 × 3 + 1/8 × 3 = 0.5 + 0.5 + 0.375 + 0.375 = 1.75비트입니다. 4개의 기호가 같은 확률로 나온다면 2비트이지만, 확률에 치우침이 있으면 그만큼 작아집니다.

이 분야 연습하기 분야로 돌아가기

정보 이론과 부호의 기초의 다른 문제

  1. 8종류의 기호를 내는 정보원의 엔트로피의 최댓값과, 최대가 되는 조건의 조합으로 올바른 것은?
  2. 0을 확률 0.9, 1을 확률 0.1로 서로 독립적으로 내는 이진 정보원이 있다. log₂ 0.9 ≈ −0.152, log₂ 0.1 ≈ −3.32로 한다. 이 정보원의 엔트로피에 가장 가까운 것은?
  3. 8종류의 기호를 내는 정보원의 엔트로피가 2.4비트였다. 중복도를 1 − (엔트로피 ÷ 최대 엔트로피)로 정의할 때, 이 정보원의 중복도는?
  4. 두 확률 변수 X, Y에 대하여, 조건부 엔트로피 H(X|Y)와 상호 정보량 I(X;Y)의 설명으로 올바른 것은?
  5. 두 확률 변수 X(값은 0 또는 1)와 Y(값은 a, b, c 중 하나)의 결합 확률이 P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4이고, 그 밖의 조합의 확률은 0이다. 상호 정보량 I(X;Y)는?