Deutsch
Menü

Was ist Transinformation?

Eine Größe, die angibt, wie viel Information zwei Zufallsvariablen X und Y übereinander enthalten. Es gilt I(X;Y) = H(X) − H(X|Y) = H(X) + H(Y) − H(X, Y); sie entspricht der mittleren Abnahme der Unsicherheit (Entropie) von X durch Kenntnis von Y. Sie ist nie negativ und 0, wenn X und Y unabhängig sind. Vertauscht man X und Y, ergibt sich derselbe Wert. Ist X der Eingang und Y der Ausgang eines Kanals, gibt sie den pro Übertragung übermittelten Informationsgehalt an, und ihr Maximum über die Wahrscheinlichkeitsverteilungen des Eingangs ist die Kanalkapazität. Auch wechselseitige Information (Mutual Information) genannt.

Japanische Bezeichnung: 相互情報量

„Transinformation“ kommt in 3 Übungsfragen aus 1 Themen vor, z. B. Grundlagen der Informationstheorie und Kodierung.

Fachgebiet: Grundlagen der Informationstheorie und Kodierung

Jetzt üben: Fragen zu Transinformation

Welche Aussage über die bedingte Entropie H(X|Y) und die Transinformation I(X;Y) zweier Zufallsvariablen X und Y ist richtig?

  1. AKennt man den Wert von Y, kann H(X|Y), das die Unsicherheit über X ausdrückt, im Mittel größer als H(X) werden
  2. BDie Transinformation I(X;Y) ist maximal, wenn X und Y voneinander unabhängig sind, und beträgt dann H(X) + H(Y)
  3. CI(X;Y) = H(X) − H(X|Y) ist der Betrag, um den die Unsicherheit über X durch Kenntnis von Y abnimmt, und ist bei Unabhängigkeit 0
Antwort und Erläuterung anzeigen

Antwort: C. I(X;Y) = H(X) − H(X|Y) ist der Betrag, um den die Unsicherheit über X durch Kenntnis von Y abnimmt, und ist bei Unabhängigkeit 0

H(X|Y) ist die mittlere Unsicherheit über X, die bleibt, wenn der Wert von Y bekannt ist; durch Kenntnis von Y nimmt die mittlere Unsicherheit nie zu, und es gilt H(X|Y) ≤ H(X). Die Abnahme ist die Transinformation I(X;Y) = H(X) − H(X|Y) = H(X) + H(Y) − H(X, Y); sind X und Y unabhängig, verrät Y nichts über X, und sie ist 0. In der Kommunikation entspricht I(X;Y), wenn X das gesendete und Y das empfangene Symbol ist, dem Informationsgehalt, der pro Übertragung tatsächlich übermittelt wird.

Für zwei Zufallsvariablen X (Wert 0 oder 1) und Y (Wert a, b oder c) gelten die Verbundwahrscheinlichkeiten P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4; alle anderen Kombinationen haben die Wahrscheinlichkeit 0. Wie groß ist die Transinformation I(X;Y)?

  1. A0,5 Bit
  2. B1 Bit
  3. C1,5 Bit
Antwort und Erläuterung anzeigen

Antwort: A. 0,5 Bit

X ist mit je 1/2 gleich 0 oder 1, also H(X) = 1 Bit; Y ist mit 1/4 gleich a, mit 1/2 gleich b und mit 1/4 gleich c, also H(Y) = 1,5 Bit. Die 4 Paare haben je 1/4, also H(X, Y) = 2 Bit, und I(X;Y) = H(X) + H(Y) − H(X, Y) = 1 + 1,5 − 2 = 0,5 Bit. Ist Y gleich a oder c, kennt man den Wert von X, bei b dagegen nicht; Y liefert also einen Teil der Information über X.

„Transinformation“ in den Erläuterungen

Fragen mit „Transinformation“ (3)

  1. Welche Aussage über die bedingte Entropie H(X|Y) und die Transinformation I(X;Y) zweier Zufallsvariablen X und Y ist richtig?
  2. Für zwei Zufallsvariablen X (Wert 0 oder 1) und Y (Wert a, b oder c) gelten die Verbundwahrscheinlichkeiten P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4; alle anderen Kombinationen haben die Wahrscheinlichkeit 0. Wie groß ist die Transinformation I(X;Y)?
  3. Ein binärer symmetrischer Kanal überträgt 0 und 1, wobei jedes Bit unabhängig mit der Wahrscheinlichkeit 0,1 kippt. Für die binäre Entropie H(p) = −p log₂ p − (1 − p) log₂(1 − p) gilt H(0,1) ≈ 0,469. Welcher Wert liegt der Kanalkapazität dieses Kanals pro Übertragung am nächsten?

Verwandte Begriffe

Informationsentropie Informationsgehalt Binärer symmetrischer Kanal Shannon-Hartley-Gesetz ECC (Fehlerkorrekturcode) Hamming-Abstand Hamming-Code Huffman-Kodierung Kraft-Ungleichung Lauflängenkodierung

Zur Glossarübersicht