じょうほうりょう
確率pで起こる事象が起こったと知らされたときに得られる情報の大きさ。I = −log₂ p で表し、単位はビットである。起こりにくい事象ほど大きく、必ず起こる事象(p = 1)では0になる。確率1/2の事象は1ビット、確率1/1024の事象は10ビットである。独立な2つの事象が両方起こったときの情報量は、それぞれの情報量の和になる。情報源の1記号あたりの情報量を確率で平均したものが、エントロピーである。自己情報量ともいう。
「情報量」は、1分野の5問の練習問題に出てきます(情報理論と符号の基礎など)。
この用語の分野: 情報理論と符号の基礎
正解：C. 3ビット
情報量は −log₂(1/8) = log₂ 8 = 3 ビットです。1/8 = 1/2³ なので、確率1/2の「2つに1つ」を知らされることを、3回重ねたのと同じ量の情報になります。起こりにくい事象ほど、起こったと知らされたときの情報量は大きくなります。
正解：B. 独立な2つの事象が両方起こったと知らされたときの情報量は、それぞれの情報量の和になる
独立な2つの事象が両方起こる確率は p₁ × p₂ なので、情報量は −log₂(p₁ × p₂) = (−log₂ p₁) + (−log₂ p₂) となり、それぞれの情報量の和になります。情報量を対数で定義するのは、この足し算の性質をもたせるためです。必ず起こる事象は、知らされても新しく分かることがないので、情報量は −log₂ 1 = 0 です。
情報量は −log₂(1/8) = log₂ 8 = 3 ビットです。
事象の確率をpとするとき、その事象が起こったと知らされて得られる情報量を −log₂ p ビットとする。確率1/8で起…独立な2つの事象が両方起こる確率は p₁ × p₂ なので、情報量は −log₂(p₁ × p₂) = (−log₂ p₁) + (−log₂ p₂) となり、それぞれの情報量の和になります。
情報量(確率pの事象が起こったと知らされたときの −log₂ p)の性質として、正しいものはどれか。エントロピーは、各記号の情報量 −log₂ p を確率で重み付けして平均したもので、H = Σ(−p log₂ p) です。
記号A、B、C、Dをそれぞれ確率1/2、1/4、1/8、1/8で、互いに独立に出す情報源がある。この情報源のエントロピ…冗長度は、記号の確率の偏りなどのために、最大の情報量に比べてどれだけむだがあるかを表します。
8種類の記号を出す情報源のエントロピーが2.4ビットであった。冗長度を 1 − (エントロピー ÷ 最大エントロピー)…通信では、Xを送った記号、Yを受け取った記号とすると、I(X;Y) は1回の伝送で実際に伝わる情報量に当たります。
2つの確率変数X、Yについて、条件付きエントロピー H(X|Y) と相互情報量 I(X;Y) の説明として、正しいもの…Amazonの検索結果へのリンクです。Amazonのアソシエイトとして、半導体教室は適格販売により収入を得ています。
情報エントロピー 可逆圧縮 相互情報量 クラフトの不等式 接頭符号 前方誤り訂正(FEC) 二元対称通信路 ハフマン符号 ハミング距離 ハミング符号