情報理論と符号の基礎
記号A、B、C、Dをそれぞれ確率1/2、1/4、1/8、1/8で、互いに独立に出す情報源がある。この情報源のエントロピー(1記号あたりの平均情報量)はどれか。
- A1.75ビット
- B2ビット
- C2.25ビット
答えと解説を見る
正解：A. 1.75ビット
エントロピーは、各記号の情報量 −log₂ p を確率で重み付けして平均したもので、H = Σ(−p log₂ p) です。各記号の情報量は1、2、3、3ビットなので、H = 1/2 × 1 + 1/4 × 2 + 1/8 × 3 + 1/8 × 3 = 0.5 + 0.5 + 0.375 + 0.375 = 1.75 ビットです。4つの記号が等しい確率で出るなら2ビットですが、確率に偏りがあると、その分だけ小さくなります。
- A. 正しい。H = 0.5 + 0.5 + 0.375 + 0.375 = 1.75 ビットです。
- B. 2ビットは log₂ 4 で、4つの記号が等しい確率で出るときの値(最大値)です。
- C. 2.25ビットは、各記号の情報量1、2、3、3を、確率で重み付けせずに平均した値です。