資訊理論與編碼基礎

某二元對稱通道傳送0與1,各位元彼此獨立地以機率0.1翻轉。設二元熵函數為 H(p) = −p log₂ p − (1 − p) log₂(1 − p),則 H(0.1) ≈ 0.469。此通道每次傳輸的通道容量最接近下列何者?

  1. A約0.47位元
  2. B約0.53位元
  3. C0.9位元
查看答案與解析

正確答案:B. 約0.53位元

二元對稱通道的通道容量為 C = 1 − H(p),是以相等機率傳送0與1時的互資訊值。p = 0.1 時 C ≈ 1 − 0.469 = 0.531,每次傳輸約0.53位元。只要使用適當的錯誤更正碼,就能以這個比例以內的速度,讓錯誤率任意小地傳送資料。p = 0.5 時收到的值與送出的值無關,容量為0。

  • A. 約0.47位元是 H(0.1),是翻轉造成的不確定性。容量是1減去這個值。
  • B. 正確。1 − H(0.1) ≈ 0.53 位元。
  • C. 0.9是正確送達之位元的比例,但接收端不知道是哪個位元翻轉,這部分資訊會遺失,因此容量小於0.9。
練習這個領域 前往領域頁面

資訊理論與編碼基礎的其他題目

  1. 關於夏農的通道編碼定理的內容,下列何者正確?
  2. 把格雷碼轉換為一般二進位數時,最高位元直接使用,其下的各位元則以前一個較高位置求得的二進位位元,與相同位置之格雷碼位元的互斥或求得。把4位元格雷碼 1101 轉換為二進位數的結果為下列何者?
  3. 設事件的機率為p時,得知該事件發生所獲得的資訊量為 −log₂ p 位元。得知機率為1/8的事件發生時,所獲得的資訊量為下列何者?
  4. 關於資訊量(得知機率為p的事件發生時的 −log₂ p)的性質,下列何者正確?
  5. 某資訊源分別以機率1/2、1/4、1/8、1/8彼此獨立地輸出符號A、B、C、D。此資訊源的熵(每個符號的平均資訊量)為下列何者?