한국어
메뉴

정보 이론과 부호의 기초

8종류의 기호를 내는 정보원의 엔트로피의 최댓값과, 최대가 되는 조건의 조합으로 올바른 것은?

  1. A3비트. 어느 하나의 기호의 확률이 1일 때
  2. B3비트. 8종류의 기호의 확률이 모두 1/8일 때
  3. C8비트. 8종류의 기호의 확률이 모두 1/8일 때
정답과 해설 보기

정답: B. 3비트. 8종류의 기호의 확률이 모두 1/8일 때

n종류의 기호를 내는 정보원의 엔트로피는 모든 기호가 같은 확률 1/n으로 나올 때 최대가 되며, 그 값은 log₂ n입니다. n = 8이라면 log₂ 8 = 3비트입니다. 어느 기호가 나올지 가장 예상하기 어려울 때 1기호당 평균 정보량이 최대가 됩니다. 반대로 하나의 기호가 확률 1로 나올 때는 무엇이 나올지 알고 있으므로 엔트로피는 0입니다.

이 분야 연습하기 분야로 돌아가기

정보 이론과 부호의 기초의 다른 문제

  1. 0을 확률 0.9, 1을 확률 0.1로 서로 독립적으로 내는 이진 정보원이 있다. log₂ 0.9 ≈ −0.152, log₂ 0.1 ≈ −3.32로 한다. 이 정보원의 엔트로피에 가장 가까운 것은?
  2. 8종류의 기호를 내는 정보원의 엔트로피가 2.4비트였다. 중복도를 1 − (엔트로피 ÷ 최대 엔트로피)로 정의할 때, 이 정보원의 중복도는?
  3. 두 확률 변수 X, Y에 대하여, 조건부 엔트로피 H(X|Y)와 상호 정보량 I(X;Y)의 설명으로 올바른 것은?
  4. 두 확률 변수 X(값은 0 또는 1)와 Y(값은 a, b, c 중 하나)의 결합 확률이 P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4이고, 그 밖의 조합의 확률은 0이다. 상호 정보량 I(X;Y)는?
  5. 영문 대문자 26종류와 숫자 10종류, 합하여 36종류의 문자를 모두 같은 길이의 비트열(고정 길이 부호)로 구별하려고 한다. 1문자당 필요한 최소 비트 수는?