情報理論と符号の基礎
8種類の記号を出す情報源のエントロピーが2.4ビットであった。冗長度を 1 − (エントロピー ÷ 最大エントロピー) と定義するとき、この情報源の冗長度はどれか。
- A20%
- B25%
- C80%
答えと解説を見る
正解：A. 20%
8種類の記号の最大エントロピーは log₂ 8 = 3 ビットなので、冗長度は 1 − 2.4 ÷ 3 = 1 − 0.8 = 0.2、つまり20%です。冗長度は、記号の確率の偏りなどのために、最大の情報量に比べてどれだけむだがあるかを表します。冗長度が大きい情報源ほど、可逆圧縮で小さくできる余地が大きくなります。
- A. 正しい。1 − 2.4 ÷ 3 = 0.2 です。
- B. 25%は (3 − 2.4) ÷ 2.4 で、差を最大エントロピーではなく、エントロピーで割っています。
- C. 80%は 2.4 ÷ 3 で、最大エントロピーに対するエントロピーの比です。冗長度は、1からこの比を引いたものです。