情報理論と符号の基礎
記号A、B、Cを確率0.6、0.3、0.1で、互いに独立に出す情報源があり、そのエントロピーは約1.30ビットである。この情報源をハフマン符号で符号化したときの効率(エントロピー ÷ 平均符号長)に最も近いものはどれか。
- A約65%
- B70%
- C約93%
答えと解説を見る
正解：C. 約93%
ハフマン符号では、0.1と0.3をまとめて0.4、次に0.4と0.6をまとめるので、符号長はAが1、BとCが2ビットです。平均符号長は 0.6 × 1 + 0.3 × 2 + 0.1 × 2 = 1.4 ビットで、効率は 1.30 ÷ 1.4 ≈ 0.93、つまり約93%です。残りの約7%は、符号長が整数のビットに限られるために生じるむだです。
- A. 約65%は 1.30 ÷ 2 で、3種類を2ビットの固定長符号で表したときの効率です。
- B. 70%は 1.4 ÷ 2 で、固定長符号に比べた平均符号長の比です。効率ではありません。
- C. 正しい。1.30 ÷ 1.4 ≈ 93% です。