資訊理論與編碼基礎
某二元對稱通道傳送0與1,各位元彼此獨立地以機率0.1翻轉。設二元熵函數為 H(p) = −p log₂ p − (1 − p) log₂(1 − p),則 H(0.1) ≈ 0.469。此通道每次傳輸的通道容量最接近下列何者?
- A約0.47位元
- B約0.53位元
- C0.9位元
查看答案與解析
正確答案:B. 約0.53位元
二元對稱通道的通道容量為 C = 1 − H(p),是以相等機率傳送0與1時的互資訊值。p = 0.1 時 C ≈ 1 − 0.469 = 0.531,每次傳輸約0.53位元。只要使用適當的錯誤更正碼,就能以這個比例以內的速度,讓錯誤率任意小地傳送資料。p = 0.5 時收到的值與送出的值無關,容量為0。
- A. 約0.47位元是 H(0.1),是翻轉造成的不確定性。容量是1減去這個值。
- B. 正確。1 − H(0.1) ≈ 0.53 位元。
- C. 0.9是正確送達之位元的比例,但接收端不知道是哪個位元翻轉,這部分資訊會遺失,因此容量小於0.9。
繼續練習資訊理論與編碼基礎的另外9題