Ein binärer symmetrischer Kanal überträgt 0 und 1, wobei jedes Bit unabhängig mit der Wahrscheinlichkeit 0,1 kippt. Für die binäre Entropie H(p) = −p log₂ p − (1 − p) log₂(1 − p) gilt H(0,1) ≈ 0,469. Welcher Wert liegt der Kanalkapazität dieses Kanals pro Übertragung am nächsten?

Antwort: B. Etwa 0,53 Bit

Die Kanalkapazität des binären symmetrischen Kanals ist C = 1 − H(p); das ist der Wert der Transinformation, wenn 0 und 1 mit gleicher Wahrscheinlichkeit gesendet werden. Für p = 0,1 ist C ≈ 1 − 0,469 = 0,531, also etwa 0,53 Bit pro Übertragung. Mit einem geeigneten Fehlerkorrekturcode lassen sich Daten bis zu diesem Anteil mit beliebig kleiner Fehlerrate übertragen. Für p = 0,5 hängt der empfangene Wert nicht mehr vom gesendeten ab, und die Kapazität wird 0.