Für zwei Zufallsvariablen X (Wert 0 oder 1) und Y (Wert a, b oder c) gelten die Verbundwahrscheinlichkeiten P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4; alle anderen Kombinationen haben die Wahrscheinlichkeit 0. Wie groß ist die Transinformation I(X;Y)?

Antwort: A. 0,5 Bit

X ist mit je 1/2 gleich 0 oder 1, also H(X) = 1 Bit; Y ist mit 1/4 gleich a, mit 1/2 gleich b und mit 1/4 gleich c, also H(Y) = 1,5 Bit. Die 4 Paare haben je 1/4, also H(X, Y) = 2 Bit, und I(X;Y) = H(X) + H(Y) − H(X, Y) = 1 + 1,5 − 2 = 0,5 Bit. Ist Y gleich a oder c, kennt man den Wert von X, bei b dagegen nicht; Y liefert also einen Teil der Information über X.