資訊理論與編碼基礎
關於兩個隨機變數X、Y的條件熵 H(X|Y) 與互資訊 I(X;Y)，下列說明何者正確？
- A得知Y的值後，表示X之不確定性的 H(X|Y)，平均而言有時會比 H(X) 大
- B互資訊 I(X;Y) 在X與Y彼此獨立時最大，其值為 H(X) + H(Y)
- CI(X;Y) = H(X) − H(X|Y) 是得知Y後X之不確定性減少的量，若兩者獨立則為0
查看答案與解析
正確答案：C. I(X;Y) = H(X) − H(X|Y) 是得知Y後X之不確定性減少的量，若兩者獨立則為0
H(X|Y) 是得知Y的值後仍殘留之X的不確定性的平均；得知Y不會使平均的不確定性增加，因此 H(X|Y) ≤ H(X)。減少的量就是互資訊 I(X;Y) = H(X) − H(X|Y) = H(X) + H(Y) − H(X, Y)，若X與Y彼此獨立，從Y得不到任何關於X的訊息，因此為0。在通訊中，若X為送出的符號、Y為收到的符號，I(X;Y) 就相當於每次傳輸實際傳達的資訊量。
- A. 平均而言不會增加。H(X|Y) ≤ H(X)，等號在X與Y彼此獨立時成立。
- B. 彼此獨立時，從Y得不到任何關於X的訊息，因此互資訊為最小值0。
- C. 正確。得知Y後減少的不確定性，就是從Y得到的關於X的資訊量。