某二元資訊源以機率0.9輸出0、以機率0.1輸出1，且彼此獨立。設 log₂ 0.9 ≈ −0.152、log₂ 0.1 ≈ −3.32。此資訊源的熵最接近下列何者？

正確答案：C. 約0.47位元

H = −0.9 × log₂ 0.9 − 0.1 × log₂ 0.1 ≈ 0.9 × 0.152 + 0.1 × 3.32 ≈ 0.137 + 0.332 ≈ 0.47 位元。若0與1的機率相等則為1位元，但此處幾乎可以預測會出現0，因此每個符號的平均資訊量不到一半。像這樣有偏差的資訊源，只要編碼得當，就有機會以每個符號少於1位元的位元數來表示。

• A. 約0.14只是0那一項 −0.9 × log₂ 0.9 的值，沒有加上1那一項。
• B. 約0.33只是1那一項 −0.1 × log₂ 0.1 的值，沒有加上0那一項。
• C. 正確。兩項相加約為0.47位元。