情報理論と符号の基礎
0と1を送り、各ビットが互いに独立に確率0.1で反転する二元対称通信路がある。2値のエントロピー関数を H(p) = −p log₂ p − (1 − p) log₂(1 − p) とすると、H(0.1) ≈ 0.469 である。この通信路の、1回の伝送あたりの通信路容量に最も近いものはどれか。
- A約0.47ビット
- B約0.53ビット
- C0.9ビット
答えと解説を見る
正解：B. 約0.53ビット
二元対称通信路の通信路容量は C = 1 − H(p) で、0と1を等しい確率で送るときの相互情報量の値です。p = 0.1 では C ≈ 1 − 0.469 = 0.531 で、1回の伝送あたり約0.53ビットです。適切な誤り訂正符号を使えば、この割合までのデータを、誤り率をいくらでも小さくして送れます。p = 0.5 では受け取った値が送った値と無関係になり、容量は0になります。
- A. 約0.47ビットは H(0.1) で、反転による不確かさの分です。容量は、1からこれを引いた値です。
- B. 正しい。1 − H(0.1) ≈ 0.53 ビットです。
- C. 0.9は正しく届くビットの割合ですが、どのビットが反転したかは受信側に分からないので、その分の情報が失われ、容量は0.9より小さくなります。