사건의 확률을 p라 할 때, 그 사건이 일어났다는 사실을 전달받아 얻는 정보량을 −log₂ p 비트로 한다. 확률 1/8로 일어나는 사건이 일어났다는 사실을 전달받았을 때의 정보량은?

정답: C. 3비트

정보량은 −log₂(1/8) = log₂ 8 = 3비트입니다. 1/8 = 1/2³이므로, 확률 1/2인 '둘 중 하나'를 전달받는 것을 3번 거듭한 것과 같은 양의 정보가 됩니다. 일어나기 어려운 사건일수록, 일어났다는 사실을 전달받았을 때의 정보량은 커집니다.