Een binaire bron zendt onafhankelijk 0 uit met kans 0,8 en 1 met kans 0,2. De symbolen worden per twee genomen, elk van de vier paren 00, 01, 10 en 11 wordt als één symbool behandeld, en ze worden gecodeerd met een Huffman-code. Wat is de gemiddelde codelengte per oorspronkelijk symbool?

Antwoord: B. 0,78 bit

De vier paren hebben de kansen 0,64 (00), 0,16 (01), 0,16 (10) en 0,04 (11). Eerst worden 0,04 en 0,16 samengevoegd tot 0,2, daarna 0,2 en 0,16 tot 0,36, en ten slotte dat met 0,64, zodat de codelengtes 1, 2, 3 en 3 bit zijn en het gemiddelde per paar 0,64 × 1 + 0,16 × 2 + 0,16 × 3 + 0,04 × 3 = 1,56 bit is. Per oorspronkelijk symbool is dat 1,56 ÷ 2 = 0,78 bit. Codeert men één symbool tegelijk, dan kan men 0 en 1 alleen elk 1 bit geven, maar door symbolen samen te coderen komt de lengte dichter bij de entropie van ongeveer 0,72 bit.