기호 A~E를 확률 0.3, 0.25, 0.2, 0.15, 0.1로 서로 독립적으로 내는 정보원을 허프만 부호로 부호화한다. 같은 확률인 것을 어느 쪽부터 고르느냐에 따라 부호어는 바뀔 수 있지만, 평균 부호 길이는 바뀌지 않는다. 1기호당 평균 부호 길이는?

정답: A. 2.25비트

먼저 0.1과 0.15를 묶어 0.25, 다음으로 0.2와 0.25를 묶어 0.45, 남은 0.25와 0.3을 묶어 0.55, 마지막으로 0.45와 0.55를 묶습니다. 부호 길이는 A, B, C가 2비트, D와 E가 3비트가 되며, 평균 부호 길이는 (0.3 + 0.25 + 0.2) × 2 + (0.15 + 0.1) × 3 = 1.5 + 0.75 = 2.25비트입니다. 확률의 치우침이 작은 정보원에서는 1, 2, 3, 4, 4와 같은 계단식 부호 길이보다 길이가 고른 부호가 더 짧아집니다.