Une source binaire émet 0 avec la probabilité 0,9 et 1 avec la probabilité 0,1, indépendamment. On prend log₂ 0,9 ≈ −0,152 et log₂ 0,1 ≈ −3,32. Quelle valeur est la plus proche de l'entropie de cette source ?

Réponse : C. Environ 0,47 bit

H = −0,9 × log₂ 0,9 − 0,1 × log₂ 0,1 ≈ 0,9 × 0,152 + 0,1 × 3,32 ≈ 0,137 + 0,332 ≈ 0,47 bit. Si 0 et 1 étaient équiprobables, elle vaudrait 1 bit, mais ici l'arrivée d'un 0 est presque prévisible, si bien que la quantité d'information moyenne par symbole est inférieure à la moitié de cette valeur. Avec un codage astucieux, une source aussi déséquilibrée peut être représentée avec moins de 1 bit par symbole.