資訊理論與編碼基礎
某資訊源分別以機率1/2、1/4、1/8、1/8彼此獨立地輸出符號A、B、C、D。此資訊源的熵（每個符號的平均資訊量）為下列何者？
- A1.75位元
- B2位元
- C2.25位元
查看答案與解析
正確答案：A. 1.75位元
熵是把各符號的資訊量 −log₂ p 以機率加權後的平均，即 H = Σ(−p log₂ p)。各符號的資訊量為1、2、3、3位元，因此 H = 1/2 × 1 + 1/4 × 2 + 1/8 × 3 + 1/8 × 3 = 0.5 + 0.5 + 0.375 + 0.375 = 1.75 位元。若4個符號的機率相等則為2位元，但機率有偏差時，熵就會相應變小。
- A. 正確。H = 0.5 + 0.5 + 0.375 + 0.375 = 1.75 位元。
- B. 2位元是 log₂ 4，是4個符號機率相等時的值（最大值）。
- C. 2.25位元是把各符號的資訊量1、2、3、3不以機率加權而直接平均的值。