資訊理論與編碼基礎

關於資訊量(得知機率為p的事件發生時的 −log₂ p)的性質,下列何者正確?

  1. A得知機率為1、必定發生的事件發生時,資訊量為1位元
  2. B得知兩個獨立事件都發生時,資訊量等於各自資訊量的和
  3. C發生機率越高的事件,得知它發生時的資訊量越大
查看答案與解析

正確答案:B. 得知兩個獨立事件都發生時,資訊量等於各自資訊量的和

兩個獨立事件都發生的機率為 p₁ × p₂,因此資訊量為 −log₂(p₁ × p₂) = (−log₂ p₁) + (−log₂ p₂),等於各自資訊量的和。以對數定義資訊量,正是為了讓它具有這種可相加的性質。必定發生的事件即使被告知也得不到新的訊息,因此資訊量為 −log₂ 1 = 0。

  • A. 必定發生之事件的資訊量為 −log₂ 1 = 0 位元。1位元是機率1/2之事件的資訊量。
  • B. 正確。機率的乘積取對數後就成為和。
  • C. 正好相反。越不容易發生的事件,得知它發生時的資訊量越大。
練習這個領域 前往領域頁面

資訊理論與編碼基礎的其他題目

  1. 某資訊源分別以機率1/2、1/4、1/8、1/8彼此獨立地輸出符號A、B、C、D。此資訊源的熵(每個符號的平均資訊量)為下列何者?
  2. 輸出8種符號之資訊源的熵的最大值,與達到最大值的條件,下列組合何者正確?
  3. 某二元資訊源以機率0.9輸出0、以機率0.1輸出1,且彼此獨立。設 log₂ 0.9 ≈ −0.152、log₂ 0.1 ≈ −3.32。此資訊源的熵最接近下列何者?
  4. 某輸出8種符號之資訊源的熵為2.4位元。若冗餘度定義為 1 −(熵 ÷ 最大熵),此資訊源的冗餘度為下列何者?
  5. 關於兩個隨機變數X、Y的條件熵 H(X|Y) 與互資訊 I(X;Y),下列說明何者正確?