什麼是互資訊

正確答案：C. I(X;Y) = H(X) − H(X|Y) 是得知Y後X之不確定性減少的量，若兩者獨立則為0

H(X|Y) 是得知Y的值後仍殘留之X的不確定性的平均；得知Y不會使平均的不確定性增加，因此 H(X|Y) ≤ H(X)。減少的量就是互資訊 I(X;Y) = H(X) − H(X|Y) = H(X) + H(Y) − H(X, Y)，若X與Y彼此獨立，從Y得不到任何關於X的訊息，因此為0。在通訊中，若X為送出的符號、Y為收到的符號，I(X;Y) 就相當於每次傳輸實際傳達的資訊量。

正確答案：A. 0.5位元

X為0與1各1/2，因此 H(X) = 1 位元；Y為a 1/4、b 1/2、c 1/4，因此 H(Y) = 1.5 位元。4組各為1/4，因此 H(X, Y) = 2 位元，I(X;Y) = H(X) + H(Y) − H(X, Y) = 1 + 1.5 − 2 = 0.5 位元。若Y為a或c就能知道X的值，若為b則無法得知，因此可從Y得到關於X的一部分資訊。