情報理論と符号の基礎
2つの確率変数X(値は0か1)とY(値はa、b、cのどれか)の同時確率が、P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4 で、ほかの組み合わせの確率は0である。相互情報量 I(X;Y) はどれか。
- A0.5ビット
- B1ビット
- C1.5ビット
答えと解説を見る
正解：A. 0.5ビット
Xは0と1が1/2ずつなので H(X) = 1 ビット、Yはaが1/4、bが1/2、cが1/4なので H(Y) = 1.5 ビットです。4つの組が1/4ずつなので H(X, Y) = 2 ビットとなり、I(X;Y) = H(X) + H(Y) − H(X, Y) = 1 + 1.5 − 2 = 0.5 ビットです。Yがaかcならば Xの値が分かり、bならば分からないので、YからXについて一部の情報が得られます。
- A. 正しい。1 + 1.5 − 2 = 0.5 ビットです。
- B. 1ビットは H(Y|X) = H(X, Y) − H(X) = 2 − 1 で、Xを知ったあとに残るYのあいまいさです。
- C. 1.5ビットは H(Y) で、Yそのもののエントロピーです。XとYの間で共有される分ではありません。