資訊理論與編碼基礎

某資訊源以機率0.6、0.3、0.1彼此獨立地輸出符號A、B、C,其熵約為1.30位元。以霍夫曼編碼對此資訊源編碼時,效率(熵 ÷ 平均碼長)最接近下列何者?

  1. A約65%
  2. B70%
  3. C約93%
查看答案與解析

正確答案:C. 約93%

霍夫曼編碼先把0.1與0.3合併為0.4,再合併0.4與0.6,因此碼長為A 1位元、B與C 2位元。平均碼長為 0.6 × 1 + 0.3 × 2 + 0.1 × 2 = 1.4 位元,效率為 1.30 ÷ 1.4 ≈ 0.93,也就是約93%。剩下約7%是因碼長只能是整數位元而產生的浪費。

  • A. 約65%是 1.30 ÷ 2,是以2位元的固定長度碼表示3種符號時的效率。
  • B. 70%是 1.4 ÷ 2,是平均碼長相對於固定長度碼的比值,並不是效率。
  • C. 正確。1.30 ÷ 1.4 ≈ 93%。
練習這個領域 前往領域頁面

資訊理論與編碼基礎的其他題目

  1. 某二元資訊源以機率0.8輸出0、以機率0.2輸出1,且彼此獨立。把每2個符號合成的00、01、10、11這4種分別視為1個符號,以霍夫曼編碼進行編碼。原本每個符號的平均碼長為下列何者?
  2. 關於無失真壓縮與資訊源之熵的關係,下列說明何者正確?
  3. 以行程長度編碼壓縮40個字元的字串 AAAAAAAAAAAABBBBCCCCCCCCCCCCCCCCCCCCDDDD(A 12個、B 4個、C 20個、D 4個),把相同字元的連續以「字元(1位元組)與個數(1位元組)」的組合表示。原本的字串為每個字元1位元組,若壓縮率定義為「壓縮後大小 ÷ 壓縮前大小」,壓縮率為下列何者?
  4. 以行程長度編碼壓縮時,下列何種資料最容易變得最小?
  5. 關於ZIP、gzip等所使用之LZ77方式的想法,下列何者正確?