정보 이론과 부호의 기초
두 확률 변수 X, Y에 대하여, 조건부 엔트로피 H(X|Y)와 상호 정보량 I(X;Y)의 설명으로 올바른 것은?
- AY의 값을 알면, X의 불확실성을 나타내는 H(X|Y)는 평균적으로 H(X)보다 커지는 경우가 있다
- B상호 정보량 I(X;Y)는 X와 Y가 서로 독립일 때 최대가 되며, 그 값은 H(X) + H(Y)이다
- CI(X;Y) = H(X) − H(X|Y)는 Y를 알아서 X의 불확실성이 줄어드는 양으로, 독립이면 0이 된다
정답과 해설 보기
정답: C. I(X;Y) = H(X) − H(X|Y)는 Y를 알아서 X의 불확실성이 줄어드는 양으로, 독립이면 0이 된다
H(X|Y)는 Y의 값을 안 뒤에 남는 X의 불확실성의 평균으로, Y를 알아서 평균 불확실성이 늘어나는 일은 없으며 H(X|Y) ≤ H(X)가 성립합니다. 그 줄어든 양이 상호 정보량 I(X;Y) = H(X) − H(X|Y) = H(X) + H(Y) − H(X, Y)이며, X와 Y가 독립이면 Y로부터 X에 대해 아무것도 알 수 없으므로 0이 됩니다. 통신에서는 X를 보낸 기호, Y를 받은 기호라고 하면, I(X;Y)는 1회의 전송으로 실제로 전달되는 정보량에 해당합니다.