0을 확률 0.9, 1을 확률 0.1로 서로 독립적으로 내는 이진 정보원이 있다. log₂ 0.9 ≈ −0.152, log₂ 0.1 ≈ −3.32로 한다. 이 정보원의 엔트로피에 가장 가까운 것은?

정답: C. 약 0.47비트

H = −0.9 × log₂ 0.9 − 0.1 × log₂ 0.1 ≈ 0.9 × 0.152 + 0.1 × 3.32 ≈ 0.137 + 0.332 ≈ 0.47비트입니다. 0과 1이 같은 확률로 나온다면 1비트이지만, 여기서는 0이 나올 것을 거의 예상할 수 있으므로 1기호당 평균 정보량은 절반 이하가 됩니다. 이처럼 치우친 정보원은 잘 부호화하면 1기호당 1비트보다 적은 비트 수로 나타낼 여지가 있습니다.