資訊理論與編碼基礎
設事件的機率為p時，得知該事件發生所獲得的資訊量為 −log₂ p 位元。得知機率為1/8的事件發生時，所獲得的資訊量為下列何者？
- A0.125位元
- B0.375位元
- C3位元
查看答案與解析
正確答案：C. 3位元
資訊量為 −log₂(1/8) = log₂ 8 = 3 位元。因為 1/8 = 1/2³，相當於把得知機率1/2的「二選一」結果這件事重複3次的資訊量。越不容易發生的事件，得知它發生時的資訊量越大。
- A. 0.125是機率1/8本身。資訊量不是機率，而是以 −log₂ p 求得。
- B. 0.375是 −(1/8) × log₂(1/8) = 3/8，是計算熵時這個事件所占的那一項，並不是資訊量本身。
- C. 正確。−log₂(1/8) = 3 位元。