정보 이론과 부호의 기초

기호 A, B, C, D를 확률 0.4, 0.3, 0.2, 0.1로 서로 독립적으로 내는 정보원을 허프만 부호로 부호화한다. 1기호당 평균 부호 길이는?

  1. A약 1.85비트
  2. B1.9비트
  3. C2비트
정답과 해설 보기

정답: B. 1.9비트

허프만 부호에서는 확률이 가장 작은 두 개를 묶는 조작을 반복합니다. 0.1과 0.2를 묶어 0.3, 다음으로 0.3과 0.3을 묶어 0.6, 마지막으로 0.6과 0.4를 묶으므로, 부호 길이는 A가 1, B가 2, C와 D가 3비트가 됩니다. 평균 부호 길이는 0.4 × 1 + 0.3 × 2 + 0.2 × 3 + 0.1 × 3 = 1.9비트입니다.

이 분야 연습하기 분야로 돌아가기

정보 이론과 부호의 기초의 다른 문제

  1. 기호 A~E를 확률 0.3, 0.25, 0.2, 0.15, 0.1로 서로 독립적으로 내는 정보원을 허프만 부호로 부호화한다. 같은 확률인 것을 어느 쪽부터 고르느냐에 따라 부호어는 바뀔 수 있지만, 평균 부호 길이는 바뀌지 않는다. 1기호당 평균 부호 길이는?
  2. 기호 A, B, C를 확률 0.6, 0.3, 0.1로 서로 독립적으로 내는 정보원이 있으며, 그 엔트로피는 약 1.30비트이다. 이 정보원을 허프만 부호로 부호화했을 때의 효율(엔트로피 ÷ 평균 부호 길이)에 가장 가까운 것은?
  3. 0을 확률 0.8, 1을 확률 0.2로 서로 독립적으로 내는 이진 정보원이 있다. 2기호씩 묶은 00, 01, 10, 11의 4종류를 각각 하나의 기호로 보고 허프만 부호로 부호화한다. 원래의 1기호당 평균 부호 길이는?
  4. 무손실 압축과 정보원의 엔트로피의 관계에 대한 설명으로 올바른 것은?
  5. 40문자의 문자열 AAAAAAAAAAAABBBBCCCCCCCCCCCCCCCCCCCCDDDD(A가 12개, B가 4개, C가 20개, D가 4개)를, 같은 문자의 연속을 '문자(1바이트)와 개수(1바이트)'의 쌍으로 나타내는 런 렝스 부호화로 압축한다. 원래 문자열은 1문자 1바이트로 하고, 압축률을 '압축 후의 크기 ÷ 압축 전의 크기'로 할 때 압축률은?