Deutsch
Menü

Was ist Informationsgehalt?

Die Größe der Information, die man erhält, wenn man erfährt, dass ein Ereignis mit der Wahrscheinlichkeit p eingetreten ist. Sie beträgt I = −log₂ p und wird in Bit gemessen. Sie ist umso größer, je unwahrscheinlicher das Ereignis ist, und für ein sicheres Ereignis (p = 1) gleich 0. Ein Ereignis mit der Wahrscheinlichkeit 1/2 liefert 1 Bit, eines mit der Wahrscheinlichkeit 1/1024 liefert 10 Bit. Der Informationsgehalt zweier unabhängiger Ereignisse, die beide eintreten, ist die Summe der einzelnen Informationsgehalte. Der mit den Wahrscheinlichkeiten gemittelte Informationsgehalt pro Symbol einer Quelle ist die Entropie. Auch Selbstinformation genannt.

Japanische Bezeichnung: 情報量

„Informationsgehalt“ kommt in 5 Übungsfragen aus 1 Themen vor, z. B. Grundlagen der Informationstheorie und Kodierung.

Fachgebiet: Grundlagen der Informationstheorie und Kodierung

Jetzt üben: Fragen zu Informationsgehalt

Der Informationsgehalt, den man erhält, wenn man erfährt, dass ein Ereignis mit der Wahrscheinlichkeit p eingetreten ist, sei −log₂ p Bit. Wie groß ist der Informationsgehalt der Nachricht, dass ein Ereignis mit der Wahrscheinlichkeit 1/8 eingetreten ist?

  1. A0,125 Bit
  2. B0,375 Bit
  3. C3 Bit
Antwort und Erläuterung anzeigen

Antwort: C. 3 Bit

Der Informationsgehalt beträgt −log₂(1/8) = log₂ 8 = 3 Bit. Wegen 1/8 = 1/2³ entspricht er der Information, 3-mal hintereinander die Antwort auf eine Frage „eins von zwei“ mit der Wahrscheinlichkeit 1/2 zu erfahren. Je unwahrscheinlicher ein Ereignis ist, desto größer ist der Informationsgehalt der Nachricht, dass es eingetreten ist.

Welche Aussage über den Informationsgehalt (−log₂ p bei der Nachricht, dass ein Ereignis mit der Wahrscheinlichkeit p eingetreten ist) ist richtig?

  1. ADer Informationsgehalt der Nachricht, dass ein Ereignis mit der Wahrscheinlichkeit 1, das also immer eintritt, eingetreten ist, beträgt 1 Bit
  2. BDer Informationsgehalt der Nachricht, dass zwei unabhängige Ereignisse beide eingetreten sind, ist die Summe der einzelnen Informationsgehalte
  3. CJe wahrscheinlicher ein Ereignis ist, desto größer ist der Informationsgehalt der Nachricht, dass es eingetreten ist
Antwort und Erläuterung anzeigen

Antwort: B. Der Informationsgehalt der Nachricht, dass zwei unabhängige Ereignisse beide eingetreten sind, ist die Summe der einzelnen Informationsgehalte

Zwei unabhängige Ereignisse treten beide mit der Wahrscheinlichkeit p₁ × p₂ ein, daher ist der Informationsgehalt −log₂(p₁ × p₂) = (−log₂ p₁) + (−log₂ p₂), also die Summe der einzelnen Informationsgehalte. Der Informationsgehalt wird gerade deshalb mit einem Logarithmus definiert, damit er diese additive Eigenschaft hat. Die Nachricht, dass ein sicheres Ereignis eingetreten ist, bringt nichts Neues, daher ist ihr Informationsgehalt −log₂ 1 = 0.

„Informationsgehalt“ in den Erläuterungen

Fragen mit „Informationsgehalt“ (5)

  1. Der Informationsgehalt, den man erhält, wenn man erfährt, dass ein Ereignis mit der Wahrscheinlichkeit p eingetreten ist, sei −log₂ p Bit. Wie groß ist der Informationsgehalt der Nachricht, dass ein Ereignis mit der Wahrscheinlichkeit 1/8 eingetreten ist?
  2. Welche Aussage über den Informationsgehalt (−log₂ p bei der Nachricht, dass ein Ereignis mit der Wahrscheinlichkeit p eingetreten ist) ist richtig?
  3. Eine Quelle gibt die Symbole A, B, C und D unabhängig voneinander mit den Wahrscheinlichkeiten 1/2, 1/4, 1/8 und 1/8 aus. Wie groß ist die Entropie dieser Quelle (der mittlere Informationsgehalt pro Symbol)?
  4. Die Entropie einer Quelle, die 8 verschiedene Symbole ausgibt, beträgt 2,4 Bit. Die Redundanz sei als 1 − (Entropie ÷ maximale Entropie) definiert. Wie groß ist die Redundanz dieser Quelle?
  5. Welche Aussage über die bedingte Entropie H(X|Y) und die Transinformation I(X;Y) zweier Zufallsvariablen X und Y ist richtig?

Verwandte Begriffe

Informationsentropie Verlustfreie Kompression Transinformation Binärer symmetrischer Kanal Hamming-Abstand Hamming-Code Huffman-Kodierung Kraft-Ungleichung Lauflängenkodierung Mittlere Codewortlänge

Zur Glossarübersicht