한국어
메뉴

정보 이론과 부호의 기초

8종류의 기호를 내는 정보원의 엔트로피가 2.4비트였다. 중복도를 1 − (엔트로피 ÷ 최대 엔트로피)로 정의할 때, 이 정보원의 중복도는?

  1. A20%
  2. B25%
  3. C80%
정답과 해설 보기

정답: A. 20%

8종류의 기호의 최대 엔트로피는 log₂ 8 = 3비트이므로, 중복도는 1 − 2.4 ÷ 3 = 1 − 0.8 = 0.2, 즉 20%입니다. 중복도는 기호 확률의 치우침 등으로 인해 최대 정보량에 비해 얼마나 낭비가 있는지를 나타냅니다. 중복도가 큰 정보원일수록 무손실 압축으로 작게 할 여지가 커집니다.

이 분야 연습하기 분야로 돌아가기

정보 이론과 부호의 기초의 다른 문제

  1. 두 확률 변수 X, Y에 대하여, 조건부 엔트로피 H(X|Y)와 상호 정보량 I(X;Y)의 설명으로 올바른 것은?
  2. 두 확률 변수 X(값은 0 또는 1)와 Y(값은 a, b, c 중 하나)의 결합 확률이 P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4이고, 그 밖의 조합의 확률은 0이다. 상호 정보량 I(X;Y)는?
  3. 영문 대문자 26종류와 숫자 10종류, 합하여 36종류의 문자를 모두 같은 길이의 비트열(고정 길이 부호)로 구별하려고 한다. 1문자당 필요한 최소 비트 수는?
  4. 고정 길이 부호와 비교했을 때 가변 길이 부호의 설명으로 올바른 것은?
  5. 4개의 기호에 할당한 다음 부호어 집합 중 접두 부호(어떤 부호어도 다른 부호어의 앞부분이 되지 않는 부호)인 것은?