Grundlagen der Informationstheorie und Kodierung

Der Informationsgehalt, den man erhält, wenn man erfährt, dass ein Ereignis mit der Wahrscheinlichkeit p eingetreten ist, sei −log₂ p Bit. Wie groß ist der Informationsgehalt der Nachricht, dass ein Ereignis mit der Wahrscheinlichkeit 1/8 eingetreten ist?

A0,125 Bit
B0,375 Bit
C3 Bit

Antwort und Erläuterung anzeigen

Antwort: C. 3 Bit

Der Informationsgehalt beträgt −log₂(1/8) = log₂ 8 = 3 Bit. Wegen 1/8 = 1/2³ entspricht er der Information, 3-mal hintereinander die Antwort auf eine Frage „eins von zwei“ mit der Wahrscheinlichkeit 1/2 zu erfahren. Je unwahrscheinlicher ein Ereignis ist, desto größer ist der Informationsgehalt der Nachricht, dass es eingetreten ist.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu Grundlagen der Informationstheorie und Kodierung

Welche Aussage über den Informationsgehalt (−log₂ p bei der Nachricht, dass ein Ereignis mit der Wahrscheinlichkeit p eingetreten ist) ist richtig?
Eine Quelle gibt die Symbole A, B, C und D unabhängig voneinander mit den Wahrscheinlichkeiten 1/2, 1/4, 1/8 und 1/8 aus. Wie groß ist die Entropie dieser Quelle (der mittlere Informationsgehalt pro Symbol)?
Welche Kombination aus dem Maximalwert der Entropie einer Quelle, die 8 verschiedene Symbole ausgibt, und der Bedingung, unter der er erreicht wird, ist richtig?
Eine binäre Quelle gibt unabhängig voneinander 0 mit der Wahrscheinlichkeit 0,9 und 1 mit der Wahrscheinlichkeit 0,1 aus. Es gelte log₂ 0,9 ≈ −0,152 und log₂ 0,1 ≈ −3,32. Welcher Wert liegt der Entropie dieser Quelle am nächsten?
Die Entropie einer Quelle, die 8 verschiedene Symbole ausgibt, beträgt 2,4 Bit. Die Redundanz sei als 1 − (Entropie ÷ maximale Entropie) definiert. Wie groß ist die Redundanz dieser Quelle?