0을 확률 0.8, 1을 확률 0.2로 서로 독립적으로 내는 이진 정보원이 있다. 2기호씩 묶은 00, 01, 10, 11의 4종류를 각각 하나의 기호로 보고 허프만 부호로 부호화한다. 원래의 1기호당 평균 부호 길이는?

정답: B. 0.78비트

4종류의 확률은 00이 0.64, 01과 10이 0.16, 11이 0.04입니다. 0.04와 0.16을 묶어 0.2, 0.2와 0.16을 묶어 0.36, 마지막으로 0.64와 묶으므로 부호 길이는 1, 2, 3, 3비트가 되며, 2기호당 평균은 0.64 × 1 + 0.16 × 2 + 0.16 × 3 + 0.04 × 3 = 1.56비트입니다. 원래의 1기호당으로는 1.56 ÷ 2 = 0.78비트입니다. 1기호씩으로는 0과 1에 1비트씩 할당할 수밖에 없지만, 묶어서 부호화하면 엔트로피인 약 0.72비트에 가깝게 할 수 있습니다.