두 확률 변수 X(값은 0 또는 1)와 Y(값은 a, b, c 중 하나)의 결합 확률이 P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4이고, 그 밖의 조합의 확률은 0이다. 상호 정보량 I(X;Y)는?

정답: A. 0.5비트

X는 0과 1이 1/2씩이므로 H(X) = 1비트, Y는 a가 1/4, b가 1/2, c가 1/4이므로 H(Y) = 1.5비트입니다. 4개의 쌍이 1/4씩이므로 H(X, Y) = 2비트가 되며, I(X;Y) = H(X) + H(Y) − H(X, Y) = 1 + 1.5 − 2 = 0.5비트입니다. Y가 a나 c이면 X의 값을 알 수 있고 b이면 알 수 없으므로, Y로부터 X에 대한 일부 정보를 얻을 수 있습니다.