じょうほうえんとろぴー
情報源が出す1記号あたりの情報量の平均。各記号の確率をpᵢとして H = −Σ pᵢ log₂ pᵢ(ビット)で表し、次に何が出るかの予想しにくさを表す。n種類の記号がすべて等しい確率で出るときに最大値 log₂ n になり、1つの記号が必ず出るときは0になる。可逆な符号化で1記号を表すのに必要な平均ビット数の下限を与える。1948年にシャノンが導入し、熱力学のエントロピーと式の形が似ていることから名付けられた。平均情報量、シャノンエントロピーともいう。
「情報エントロピー」は、2分野の11問の練習問題に出てきます(情報理論と符号の基礎, 機械学習の基礎など)。
この用語の分野: 情報理論と符号の基礎
表と裏が1/2ずつのコインは1ビット、1〜6の目が等しく出るさいころは log₂ 6 ≈ 2.58 ビットです。表が0.9、裏が0.1の偏ったコインは約0.47ビットで、結果がほぼ予想できる分だけ小さくなります。確率が0の記号は、0 × log₂ 0 = 0 として扱います。
記号を独立に出す情報源では、どのような可逆な符号でも、1記号あたりの平均符号長をエントロピーより小さくできません(情報源符号化定理)。ハフマン符号の平均符号長はエントロピー以上、エントロピー + 1 ビット未満になり、記号をまとめて符号化すると、1記号あたりではエントロピーにいくらでも近づけられます。
2つの確率変数については、同時エントロピー H(X, Y)、Yを知ったあとに残るXのあいまいさを表す条件付きエントロピー H(X|Y)、その差である相互情報量 I(X;Y) = H(X) − H(X|Y) を考えます。機械学習で使う交差エントロピーは、本当の分布と予測した分布の違いを測る量で、予測が当たるほど小さくなります。
正解：B. 3ビット。8種類の記号の確率がすべて1/8のとき
n種類の記号を出す情報源のエントロピーは、すべての記号が等しい確率1/nで出るときに最大になり、その値は log₂ n です。n = 8 なら log₂ 8 = 3 ビットです。どの記号が出るかを最も予想しにくいときに、1記号あたりの平均情報量が最大になります。逆に、1つの記号が確率1で出るときは、何が出るか分かっているので、エントロピーは0です。
良し悪しではなく、予想しにくさの大きさです。エントロピーが大きいデータは圧縮しにくく、暗号の鍵や乱数のように予測されては困るものでは、大きいことが求められます。逆に、文章のように冗長度の大きいデータは、圧縮でよく縮みます。
式の形はよく似ていて、統計力学のエントロピーとは深い関係がありますが、物理のエントロピーは熱や温度と結び付いた量で、単位も異なります。情報理論では、確率分布だけから決まる量として扱います。
エントロピーは、各記号の情報量 −log₂ p を確率で重み付けして平均したもので、H = Σ(−p log₂ p) です。
記号A、B、C、Dをそれぞれ確率1/2、1/4、1/8、1/8で、互いに独立に出す情報源がある。この情報源のエントロピ…n種類の記号を出す情報源のエントロピーは、すべての記号が等しい確率1/nで出るときに最大になり、その値は log₂ n です。
8種類の記号を出す情報源のエントロピーの最大値と、最大になる条件の組み合わせとして、正しいものはどれか。0と1が等しい確率で出るなら1ビットですが、ここでは0が出ることがほぼ予想できるので、1記号あたりの平均情報量は半分以下になります。
0を確率0.9、1を確率0.1で、互いに独立に出す2値の情報源がある。log₂ 0.9 ≈ −0.152、log₂ 0…8種類の記号の最大エントロピーは log₂ 8 = 3 ビットなので、冗長度は 1 − 2.4 ÷ 3 = 1 − 0.8 = 0.2、つまり20%です。
8種類の記号を出す情報源のエントロピーが2.4ビットであった。冗長度を 1 − (エントロピー ÷ 最大エントロピー)…記号を独立に出す情報源では、可逆な符号の1記号あたりの平均符号長はエントロピー以上になり、記号をまとめて符号化すると、エントロピーにいくらでも近づけられます(情報源符号化定理)。
可逆圧縮と、情報源のエントロピーの関係の説明として、正しいものはどれか。Amazonの検索結果へのリンクです。Amazonのアソシエイトとして、半導体教室は適格販売により収入を得ています。
情報量 平均符号長 可逆圧縮 相互情報量 ハフマン符号 二元対称通信路 シャノンの定理 ECC(誤り訂正符号) クラフトの不等式 接頭符号