資訊理論與編碼基礎
關於資訊量(得知機率為p的事件發生時的 −log₂ p)的性質,下列何者正確?
- A得知機率為1、必定發生的事件發生時,資訊量為1位元
- B得知兩個獨立事件都發生時,資訊量等於各自資訊量的和
- C發生機率越高的事件,得知它發生時的資訊量越大
查看答案與解析
正確答案:B. 得知兩個獨立事件都發生時,資訊量等於各自資訊量的和
兩個獨立事件都發生的機率為 p₁ × p₂,因此資訊量為 −log₂(p₁ × p₂) = (−log₂ p₁) + (−log₂ p₂),等於各自資訊量的和。以對數定義資訊量,正是為了讓它具有這種可相加的性質。必定發生的事件即使被告知也得不到新的訊息,因此資訊量為 −log₂ 1 = 0。
- A. 必定發生之事件的資訊量為 −log₂ 1 = 0 位元。1位元是機率1/2之事件的資訊量。
- B. 正確。機率的乘積取對數後就成為和。
- C. 正好相反。越不容易發生的事件,得知它發生時的資訊量越大。