Een binaire bron zendt onafhankelijk 0 uit met kans 0,9 en 1 met kans 0,1. Neem log₂ 0,9 ≈ −0,152 en log₂ 0,1 ≈ −3,32. Welke waarde ligt het dichtst bij de entropie van deze bron?

Antwoord: C. Ongeveer 0,47 bit

H = −0,9 × log₂ 0,9 − 0,1 × log₂ 0,1 ≈ 0,9 × 0,152 + 0,1 × 3,32 ≈ 0,137 + 0,332 ≈ 0,47 bit. Als 0 en 1 even waarschijnlijk waren, zou het 1 bit zijn, maar hier is een 0 bijna te voorspellen, zodat de gemiddelde informatie-inhoud per symbool minder dan de helft daarvan is. Een zo scheve bron kan met slimme codering met minder dan 1 bit per symbool worden weergegeven.