Deutsch
Menü

Grundlagen der Informationstheorie und Kodierung

Welche Aussage über den Informationsgehalt (−log₂ p bei der Nachricht, dass ein Ereignis mit der Wahrscheinlichkeit p eingetreten ist) ist richtig?

  1. ADer Informationsgehalt der Nachricht, dass ein Ereignis mit der Wahrscheinlichkeit 1, das also immer eintritt, eingetreten ist, beträgt 1 Bit
  2. BDer Informationsgehalt der Nachricht, dass zwei unabhängige Ereignisse beide eingetreten sind, ist die Summe der einzelnen Informationsgehalte
  3. CJe wahrscheinlicher ein Ereignis ist, desto größer ist der Informationsgehalt der Nachricht, dass es eingetreten ist
Antwort und Erläuterung anzeigen

Antwort: B. Der Informationsgehalt der Nachricht, dass zwei unabhängige Ereignisse beide eingetreten sind, ist die Summe der einzelnen Informationsgehalte

Zwei unabhängige Ereignisse treten beide mit der Wahrscheinlichkeit p₁ × p₂ ein, daher ist der Informationsgehalt −log₂(p₁ × p₂) = (−log₂ p₁) + (−log₂ p₂), also die Summe der einzelnen Informationsgehalte. Der Informationsgehalt wird gerade deshalb mit einem Logarithmus definiert, damit er diese additive Eigenschaft hat. Die Nachricht, dass ein sicheres Ereignis eingetreten ist, bringt nichts Neues, daher ist ihr Informationsgehalt −log₂ 1 = 0.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu Grundlagen der Informationstheorie und Kodierung

  1. Eine Quelle gibt die Symbole A, B, C und D unabhängig voneinander mit den Wahrscheinlichkeiten 1/2, 1/4, 1/8 und 1/8 aus. Wie groß ist die Entropie dieser Quelle (der mittlere Informationsgehalt pro Symbol)?
  2. Welche Kombination aus dem Maximalwert der Entropie einer Quelle, die 8 verschiedene Symbole ausgibt, und der Bedingung, unter der er erreicht wird, ist richtig?
  3. Eine binäre Quelle gibt unabhängig voneinander 0 mit der Wahrscheinlichkeit 0,9 und 1 mit der Wahrscheinlichkeit 0,1 aus. Es gelte log₂ 0,9 ≈ −0,152 und log₂ 0,1 ≈ −3,32. Welcher Wert liegt der Entropie dieser Quelle am nächsten?
  4. Die Entropie einer Quelle, die 8 verschiedene Symbole ausgibt, beträgt 2,4 Bit. Die Redundanz sei als 1 − (Entropie ÷ maximale Entropie) definiert. Wie groß ist die Redundanz dieser Quelle?
  5. Welche Aussage über die bedingte Entropie H(X|Y) und die Transinformation I(X;Y) zweier Zufallsvariablen X und Y ist richtig?