0を確率0.9、1を確率0.1で、互いに独立に出す2値の情報源がある。log₂ 0.9 ≈ −0.152、log₂ 0.1 ≈ −3.32 とする。この情報源のエントロピーに最も近いものはどれか。

正解：C. 約0.47ビット

H = −0.9 × log₂ 0.9 − 0.1 × log₂ 0.1 ≈ 0.9 × 0.152 + 0.1 × 3.32 ≈ 0.137 + 0.332 ≈ 0.47 ビットです。0と1が等しい確率で出るなら1ビットですが、ここでは0が出ることがほぼ予想できるので、1記号あたりの平均情報量は半分以下になります。このように偏った情報源は、うまく符号化すれば、1記号あたり1ビットより少ないビット数で表せる余地があります。

• A. 約0.14は0の項 −0.9 × log₂ 0.9 だけの値で、1の項を足していません。
• B. 約0.33は1の項 −0.1 × log₂ 0.1 だけの値で、0の項を足していません。
• C. 正しい。2つの項を足して約0.47ビットです。