資訊理論與編碼基礎

某輸出8種符號之資訊源的熵為2.4位元。若冗餘度定義為 1 −(熵 ÷ 最大熵),此資訊源的冗餘度為下列何者?

  1. A20%
  2. B25%
  3. C80%
查看答案與解析

正確答案:A. 20%

8種符號的最大熵為 log₂ 8 = 3 位元,因此冗餘度為 1 − 2.4 ÷ 3 = 1 − 0.8 = 0.2,也就是20%。冗餘度表示因符號機率的偏差等原因,與最大資訊量相比有多少浪費。冗餘度越大的資訊源,以無失真壓縮縮小的空間越大。

  • A. 正確。1 − 2.4 ÷ 3 = 0.2。
  • B. 25%是 (3 − 2.4) ÷ 2.4,把差值除以熵,而不是除以最大熵。
  • C. 80%是 2.4 ÷ 3,是熵相對於最大熵的比值。冗餘度是1減去這個比值。
練習這個領域 前往領域頁面

資訊理論與編碼基礎的其他題目

  1. 關於兩個隨機變數X、Y的條件熵 H(X|Y) 與互資訊 I(X;Y),下列說明何者正確?
  2. 兩個隨機變數X(值為0或1)與Y(值為a、b、c之一)的聯合機率為 P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4,其他組合的機率為0。互資訊 I(X;Y) 為下列何者?
  3. 想以長度全部相同的位元串(固定長度碼)區分英文大寫字母26種與數字10種,共36種字元。每個字元所需的最少位元數為下列何者?
  4. 與固定長度碼相比,下列關於可變長度碼的說明何者正確?
  5. 下列分配給4個符號的碼字組合中,何者是前綴碼(任何碼字都不是其他碼字開頭部分的碼)?