두 확률 변수 X와 Y가 서로에 대해 얼마나 정보를 갖는지를 나타내는 양. I(X;Y) = H(X) − H(X|Y) = H(X) + H(Y) − H(X, Y)로, Y를 앎으로써 X의 불확실성(엔트로피)이 평균적으로 얼마나 줄어드는지에 해당한다. 값은 0 이상이며, X와 Y가 독립일 때 0이 된다. X와 Y를 바꾸어도 같은 값이 된다. 채널의 입력을 X, 출력을 Y라 하면 1회 전송으로 전달되는 정보량을 나타내며, 입력의 확률 분포를 바꾸었을 때의 최댓값이 채널 용량이다.
일본어 명칭: 相互情報量
상호 정보량(Mutual Information)은(는) 정보 이론과 부호의 기초 등 1개 분야의 연습 문제 3개에 나와요.
분야: 정보 이론과 부호의 기초
정답: C. I(X;Y) = H(X) − H(X|Y)는 Y를 알아서 X의 불확실성이 줄어드는 양으로, 독립이면 0이 된다
H(X|Y)는 Y의 값을 안 뒤에 남는 X의 불확실성의 평균으로, Y를 알아서 평균 불확실성이 늘어나는 일은 없으며 H(X|Y) ≤ H(X)가 성립합니다. 그 줄어든 양이 상호 정보량 I(X;Y) = H(X) − H(X|Y) = H(X) + H(Y) − H(X, Y)이며, X와 Y가 독립이면 Y로부터 X에 대해 아무것도 알 수 없으므로 0이 됩니다. 통신에서는 X를 보낸 기호, Y를 받은 기호라고 하면, I(X;Y)는 1회의 전송으로 실제로 전달되는 정보량에 해당합니다.
정답: A. 0.5비트
X는 0과 1이 1/2씩이므로 H(X) = 1비트, Y는 a가 1/4, b가 1/2, c가 1/4이므로 H(Y) = 1.5비트입니다. 4개의 쌍이 1/4씩이므로 H(X, Y) = 2비트가 되며, I(X;Y) = H(X) + H(Y) − H(X, Y) = 1 + 1.5 − 2 = 0.5비트입니다. Y가 a나 c이면 X의 값을 알 수 있고 b이면 알 수 없으므로, Y로부터 X에 대한 일부 정보를 얻을 수 있습니다.
그 줄어든 양이 상호 정보량 I(X;Y) = H(X) − H(X|Y) = H(X) + H(Y) − H(X, Y)이며, X와 Y가 독립이면 Y로부터 X에 대해 아무것도 알 수 없으므로 0이 됩니다.
두 확률 변수 X, Y에 대하여, 조건부 엔트로피 H(X|Y)와 상호 정보량 I(X;Y)의 설명으로 올바른…이진 대칭 채널의 채널 용량은 C = 1 − H(p)로, 0과 1을 같은 확률로 보낼 때의 상호 정보량의 값입니다.
0과 1을 보내며, 각 비트가 서로 독립적으로 확률 0.1로 반전하는 이진 대칭 채널이 있다. 이진 엔트로…정보 엔트로피(Information Entropy) 정보량(Self-Information) 이진 대칭 채널(Binary Symmetric Channel) 섀넌의 정리(Shannon's Theorem) ECC(오류 정정 부호) 런 렝스 부호화(Run-Length Encoding) 무손실 압축(Lossless Compression) 손실 압축(Lossy Compression) 순방향 오류 정정(FEC) 접두 부호(Prefix Code)