Grundlagen der Informationstheorie und Kodierung

Eine Quelle gibt die Symbole A, B, C und D unabhängig voneinander mit den Wahrscheinlichkeiten 1/2, 1/4, 1/8 und 1/8 aus. Wie groß ist die Entropie dieser Quelle (der mittlere Informationsgehalt pro Symbol)?

A1,75 Bit
B2 Bit
C2,25 Bit

Antwort und Erläuterung anzeigen

Antwort: A. 1,75 Bit

Die Entropie ist der mit den Wahrscheinlichkeiten gewichtete Mittelwert der Informationsgehalte −log₂ p der einzelnen Symbole: H = Σ(−p log₂ p). Die Informationsgehalte der Symbole sind 1, 2, 3 und 3 Bit, also gilt H = 1/2 × 1 + 1/4 × 2 + 1/8 × 3 + 1/8 × 3 = 0,5 + 0,5 + 0,375 + 0,375 = 1,75 Bit. Wären die 4 Symbole gleich wahrscheinlich, ergäben sich 2 Bit; sind die Wahrscheinlichkeiten ungleich verteilt, wird die Entropie entsprechend kleiner.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu Grundlagen der Informationstheorie und Kodierung

Welche Kombination aus dem Maximalwert der Entropie einer Quelle, die 8 verschiedene Symbole ausgibt, und der Bedingung, unter der er erreicht wird, ist richtig?
Eine binäre Quelle gibt unabhängig voneinander 0 mit der Wahrscheinlichkeit 0,9 und 1 mit der Wahrscheinlichkeit 0,1 aus. Es gelte log₂ 0,9 ≈ −0,152 und log₂ 0,1 ≈ −3,32. Welcher Wert liegt der Entropie dieser Quelle am nächsten?
Die Entropie einer Quelle, die 8 verschiedene Symbole ausgibt, beträgt 2,4 Bit. Die Redundanz sei als 1 − (Entropie ÷ maximale Entropie) definiert. Wie groß ist die Redundanz dieser Quelle?
Welche Aussage über die bedingte Entropie H(X|Y) und die Transinformation I(X;Y) zweier Zufallsvariablen X und Y ist richtig?
Für zwei Zufallsvariablen X (Wert 0 oder 1) und Y (Wert a, b oder c) gelten die Verbundwahrscheinlichkeiten P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4; alle anderen Kombinationen haben die Wahrscheinlichkeit 0. Wie groß ist die Transinformation I(X;Y)?