資訊理論與編碼基礎
某輸出8種符號之資訊源的熵為2.4位元。若冗餘度定義為 1 −(熵 ÷ 最大熵),此資訊源的冗餘度為下列何者?
- A20%
- B25%
- C80%
查看答案與解析
正確答案:A. 20%
8種符號的最大熵為 log₂ 8 = 3 位元,因此冗餘度為 1 − 2.4 ÷ 3 = 1 − 0.8 = 0.2,也就是20%。冗餘度表示因符號機率的偏差等原因,與最大資訊量相比有多少浪費。冗餘度越大的資訊源,以無失真壓縮縮小的空間越大。
- A. 正確。1 − 2.4 ÷ 3 = 0.2。
- B. 25%是 (3 − 2.4) ÷ 2.4,把差值除以熵,而不是除以最大熵。
- C. 80%是 2.4 ÷ 3,是熵相對於最大熵的比值。冗餘度是1減去這個比值。
繼續練習資訊理論與編碼基礎的另外9題