Dans un canal binaire symétrique, on envoie des 0 et des 1, et chaque bit s'inverse indépendamment avec la probabilité 0,1. Avec l'entropie binaire H(p) = −p log₂ p − (1 − p) log₂(1 − p), on a H(0,1) ≈ 0,469. Quelle valeur est la plus proche de la capacité du canal par transmission ?

Réponse : B. Environ 0,53 bit

Pour un canal binaire symétrique, la capacité du canal vaut C = 1 − H(p), c'est-à-dire la valeur de l'information mutuelle lorsque 0 et 1 sont envoyés avec la même probabilité. Pour p = 0,1, C ≈ 1 − 0,469 = 0,531, soit environ 0,53 bit par transmission. Avec un code correcteur d'erreurs approprié, on peut transmettre des données à un débit allant jusqu'à cette valeur avec un taux d'erreur aussi faible qu'on le souhaite. Pour p = 0,5, la valeur reçue est sans rapport avec la valeur envoyée, et la capacité vaut 0.