Eine binäre Quelle gibt unabhängig voneinander 0 mit der Wahrscheinlichkeit 0,8 und 1 mit der Wahrscheinlichkeit 0,2 aus. Je 2 Symbole werden zusammengefasst; die 4 Kombinationen 00, 01, 10 und 11 werden jeweils als ein Symbol betrachtet und mit einem Huffman-Code kodiert. Wie groß ist die mittlere Codewortlänge pro ursprünglichem Symbol?

Antwort: B. 0,78 Bit

Die Wahrscheinlichkeiten der 4 Kombinationen sind 0,64 für 00, je 0,16 für 01 und 10 sowie 0,04 für 11. 0,04 und 0,16 werden zu 0,2 zusammengefasst, 0,2 und 0,16 zu 0,36 und zuletzt das Ergebnis mit 0,64; die Codewortlängen sind also 1, 2, 3 und 3 Bit, und der Mittelwert pro 2 Symbole beträgt 0,64 × 1 + 0,16 × 2 + 0,16 × 3 + 0,04 × 3 = 1,56 Bit. Pro ursprünglichem Symbol sind das 1,56 ÷ 2 = 0,78 Bit. Kodiert man Symbol für Symbol, muss man 0 und 1 je 1 Bit zuordnen; kodiert man die Symbole gemeinsam, kommt man näher an die Entropie von etwa 0,72 Bit heran.