情報理論と符号の基礎
情報量(確率pの事象が起こったと知らされたときの −log₂ p)の性質として、正しいものはどれか。
- A確率1で必ず起こる事象が起こったと知らされたときの情報量は、1ビットである
- B独立な2つの事象が両方起こったと知らされたときの情報量は、それぞれの情報量の和になる
- C起こる確率が高い事象ほど、起こったと知らされたときの情報量は大きい
答えと解説を見る
正解：B. 独立な2つの事象が両方起こったと知らされたときの情報量は、それぞれの情報量の和になる
独立な2つの事象が両方起こる確率は p₁ × p₂ なので、情報量は −log₂(p₁ × p₂) = (−log₂ p₁) + (−log₂ p₂) となり、それぞれの情報量の和になります。情報量を対数で定義するのは、この足し算の性質をもたせるためです。必ず起こる事象は、知らされても新しく分かることがないので、情報量は −log₂ 1 = 0 です。
- A. 必ず起こる事象の情報量は −log₂ 1 = 0 ビットです。1ビットは、確率1/2の事象の情報量です。
- B. 正しい。確率の積が、対数をとると和になります。
- C. 逆です。起こりにくい事象ほど、起こったと知らされたときの情報量は大きくなります。