相互情報量とは

正解：C. I(X;Y) = H(X) − H(X|Y) は、Yを知ってXのあいまいさが減る量で、独立なら0になる

H(X|Y) は、Yの値を知ったあとに残るXのあいまいさの平均で、Yを知って平均のあいまいさが増えることはなく、H(X|Y) ≤ H(X) が成り立ちます。その減った量が相互情報量 I(X;Y) = H(X) − H(X|Y) = H(X) + H(Y) − H(X, Y) で、XとYが独立なら、YからXについて何も分からないので0になります。通信では、Xを送った記号、Yを受け取った記号とすると、I(X;Y) は1回の伝送で実際に伝わる情報量に当たります。

正解：A. 0.5ビット

Xは0と1が1/2ずつなので H(X) = 1 ビット、Yはaが1/4、bが1/2、cが1/4なので H(Y) = 1.5 ビットです。4つの組が1/4ずつなので H(X, Y) = 2 ビットとなり、I(X;Y) = H(X) + H(Y) − H(X, Y) = 1 + 1.5 − 2 = 0.5 ビットです。Yがaかcならば Xの値が分かり、bならば分からないので、YからXについて一部の情報が得られます。