情報理論と符号の基礎
記号A〜Eを確率0.3、0.25、0.2、0.15、0.1で、互いに独立に出す情報源を、ハフマン符号で符号化する。等しい確率のものをどちらから選ぶかで符号語は変わることがあるが、平均符号長は変わらない。1記号あたりの平均符号長はどれか。
- A2.25ビット
- B2.4ビット
- C3ビット
答えと解説を見る
正解：A. 2.25ビット
まず0.1と0.15をまとめて0.25、次に0.2と0.25をまとめて0.45、残りの0.25と0.3をまとめて0.55、最後に0.45と0.55をまとめます。符号長はA、B、Cが2ビット、DとEが3ビットになり、平均符号長は (0.3 + 0.25 + 0.2) × 2 + (0.15 + 0.1) × 3 = 1.5 + 0.75 = 2.25 ビットです。確率の偏りが小さい情報源では、1、2、3、4、4 のような段々の符号長より、長さのそろった符号の方が短くなります。
- A. 正しい。符号長2、2、2、3、3で、平均2.25ビットです。
- B. 2.4ビットは、符号長を1、2、3、4、4と段々に割り当てた場合の値です。接頭符号は作れますが、この確率では最適ではありません。
- C. 3ビットは、5種類を同じ長さで表す固定長符号の符号長です。