情報理論と符号の基礎
2つの確率変数X、Yについて、条件付きエントロピー H(X|Y) と相互情報量 I(X;Y) の説明として、正しいものはどれか。
- AYの値を知ると、Xのあいまいさを表す H(X|Y) は、平均して H(X) より大きくなることがある
- B相互情報量 I(X;Y) は、XとYが互いに独立のときに最大になり、その値は H(X) + H(Y) である
- CI(X;Y) = H(X) − H(X|Y) は、Yを知ってXのあいまいさが減る量で、独立なら0になる
答えと解説を見る
正解：C. I(X;Y) = H(X) − H(X|Y) は、Yを知ってXのあいまいさが減る量で、独立なら0になる
H(X|Y) は、Yの値を知ったあとに残るXのあいまいさの平均で、Yを知って平均のあいまいさが増えることはなく、H(X|Y) ≤ H(X) が成り立ちます。その減った量が相互情報量 I(X;Y) = H(X) − H(X|Y) = H(X) + H(Y) − H(X, Y) で、XとYが独立なら、YからXについて何も分からないので0になります。通信では、Xを送った記号、Yを受け取った記号とすると、I(X;Y) は1回の伝送で実際に伝わる情報量に当たります。
- A. 平均では増えません。H(X|Y) ≤ H(X) で、等号はXとYが独立のときに成り立ちます。
- B. 独立のときは、YからXについて何も分からないので、相互情報量は最小の0になります。
- C. 正しい。Yを知って減ったあいまいさが、YからXについて得られる情報量です。