資訊理論與編碼基礎
輸出8種符號之資訊源的熵的最大值，與達到最大值的條件，下列組合何者正確？
- A3位元。其中某1個符號的機率為1時
- B3位元。8種符號的機率全部為1/8時
- C8位元。8種符號的機率全部為1/8時
查看答案與解析
正確答案：B. 3位元。8種符號的機率全部為1/8時
輸出n種符號之資訊源的熵，在所有符號都以相同機率1/n出現時最大，其值為 log₂ n。n = 8 時為 log₂ 8 = 3 位元。最難預測會出現哪個符號時，每個符號的平均資訊量最大。反之，某1個符號以機率1出現時，已知會出現什麼，因此熵為0。
- A. 某1個符號以機率1出現時，熵為最小值0位元。
- B. 正確。機率相等時達到最大值 log₂ 8 = 3 位元。
- C. 8是符號的種類數。熵的最大值是它的對數 log₂ 8 = 3 位元。