情報理論と符号の基礎
8種類の記号を出す情報源のエントロピーの最大値と、最大になる条件の組み合わせとして、正しいものはどれか。
- A3ビット。どれか1つの記号の確率が1のとき
- B3ビット。8種類の記号の確率がすべて1/8のとき
- C8ビット。8種類の記号の確率がすべて1/8のとき
答えと解説を見る
正解：B. 3ビット。8種類の記号の確率がすべて1/8のとき
n種類の記号を出す情報源のエントロピーは、すべての記号が等しい確率1/nで出るときに最大になり、その値は log₂ n です。n = 8 なら log₂ 8 = 3 ビットです。どの記号が出るかを最も予想しにくいときに、1記号あたりの平均情報量が最大になります。逆に、1つの記号が確率1で出るときは、何が出るか分かっているので、エントロピーは0です。
- A. 1つの記号が確率1で出るときは、エントロピーは最小の0ビットです。
- B. 正しい。等しい確率のとき、最大の log₂ 8 = 3 ビットになります。
- C. 8は記号の種類の数です。エントロピーの最大値は、その対数の log₂ 8 = 3 ビットです。