Welche Kombination aus dem Maximalwert der Entropie einer Quelle, die 8 verschiedene Symbole ausgibt, und der Bedingung, unter der er erreicht wird, ist richtig?

Antwort: B. 3 Bit, wenn alle 8 Symbole die Wahrscheinlichkeit 1/8 haben

Die Entropie einer Quelle mit n verschiedenen Symbolen ist maximal, wenn alle Symbole mit derselben Wahrscheinlichkeit 1/n auftreten, und beträgt dann log₂ n. Für n = 8 sind das log₂ 8 = 3 Bit. Der mittlere Informationsgehalt pro Symbol ist am größten, wenn sich am schlechtesten vorhersagen lässt, welches Symbol kommt. Tritt umgekehrt 1 Symbol mit der Wahrscheinlichkeit 1 auf, weiß man, was kommt, und die Entropie ist 0.