情報理論と符号の基礎
事象の確率をpとするとき、その事象が起こったと知らされて得られる情報量を −log₂ p ビットとする。確率1/8で起こる事象が起こったと知らされたときの情報量はどれか。
- A0.125ビット
- B0.375ビット
- C3ビット
答えと解説を見る
正解：C. 3ビット
情報量は −log₂(1/8) = log₂ 8 = 3 ビットです。1/8 = 1/2³ なので、確率1/2の「2つに1つ」を知らされることを、3回重ねたのと同じ量の情報になります。起こりにくい事象ほど、起こったと知らされたときの情報量は大きくなります。
- A. 0.125は確率1/8そのものです。情報量は確率ではなく、−log₂ p で求めます。
- B. 0.375は −(1/8) × log₂(1/8) = 3/8 で、エントロピーを計算するときの、この事象の1項分です。情報量そのものではありません。
- C. 正しい。−log₂(1/8) = 3 ビットです。