資訊理論與編碼基礎
兩個隨機變數X（值為0或1）與Y（值為a、b、c之一）的聯合機率為 P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4，其他組合的機率為0。互資訊 I(X;Y) 為下列何者？
- A0.5位元
- B1位元
- C1.5位元
查看答案與解析
正確答案：A. 0.5位元
X為0與1各1/2，因此 H(X) = 1 位元；Y為a 1/4、b 1/2、c 1/4，因此 H(Y) = 1.5 位元。4組各為1/4，因此 H(X, Y) = 2 位元，I(X;Y) = H(X) + H(Y) − H(X, Y) = 1 + 1.5 − 2 = 0.5 位元。若Y為a或c就能知道X的值，若為b則無法得知，因此可從Y得到關於X的一部分資訊。
- A. 正確。1 + 1.5 − 2 = 0.5 位元。
- B. 1位元是 H(Y|X) = H(X, Y) − H(X) = 2 − 1，是得知X後仍殘留之Y的不確定性。
- C. 1.5位元是 H(Y)，是Y本身的熵，並不是X與Y之間共有的部分。