Die Entropie einer Quelle, die 8 verschiedene Symbole ausgibt, beträgt 2,4 Bit. Die Redundanz sei als 1 − (Entropie ÷ maximale Entropie) definiert. Wie groß ist die Redundanz dieser Quelle?

Antwort: A. 20 %

Die maximale Entropie bei 8 verschiedenen Symbolen beträgt log₂ 8 = 3 Bit, die Redundanz also 1 − 2,4 ÷ 3 = 1 − 0,8 = 0,2, das heißt 20 %. Die Redundanz gibt an, wie viel im Vergleich zum maximalen Informationsgehalt verschenkt wird, etwa weil die Symbolwahrscheinlichkeiten ungleich verteilt sind. Je größer die Redundanz einer Quelle, desto mehr Spielraum hat eine verlustfreie Kompression, ihre Daten zu verkleinern.