Eine binäre Quelle gibt unabhängig voneinander 0 mit der Wahrscheinlichkeit 0,9 und 1 mit der Wahrscheinlichkeit 0,1 aus. Es gelte log₂ 0,9 ≈ −0,152 und log₂ 0,1 ≈ −3,32. Welcher Wert liegt der Entropie dieser Quelle am nächsten?

Antwort: C. Etwa 0,47 Bit

H = −0,9 × log₂ 0,9 − 0,1 × log₂ 0,1 ≈ 0,9 × 0,152 + 0,1 × 3,32 ≈ 0,137 + 0,332 ≈ 0,47 Bit. Wären 0 und 1 gleich wahrscheinlich, ergäbe sich 1 Bit; hier lässt sich aber fast vorhersagen, dass eine 0 kommt, daher beträgt der mittlere Informationsgehalt pro Symbol weniger als die Hälfte. Eine so ungleichmäßige Quelle lässt sich bei geschickter Kodierung mit weniger als 1 Bit pro Symbol darstellen.