へいきんふごうちょう
各記号の符号語の長さを、その記号が出る確率で重み付けして平均した値。記号iの確率をpᵢ、符号語の長さをlᵢとして L = Σ pᵢ lᵢ(ビット/記号)で表す。よく出る記号に短い符号語を割り当てると小さくなり、可逆な符号ではエントロピー以上になる。エントロピーを平均符号長で割った値を、符号化の効率という。例えば確率0.4、0.3、0.2、0.1の4記号をハフマン符号で表すと、平均符号長は1.9ビットである。
「平均符号長」は、1分野の6問の練習問題に出てきます(情報理論と符号の基礎など)。
この用語の分野: 情報理論と符号の基礎
正解：A. 2.25ビット
まず0.1と0.15をまとめて0.25、次に0.2と0.25をまとめて0.45、残りの0.25と0.3をまとめて0.55、最後に0.45と0.55をまとめます。符号長はA、B、Cが2ビット、DとEが3ビットになり、平均符号長は (0.3 + 0.25 + 0.2) × 2 + (0.15 + 0.1) × 3 = 1.5 + 0.75 = 2.25 ビットです。確率の偏りが小さい情報源では、1、2、3、4、4 のような段々の符号長より、長さのそろった符号の方が短くなります。
平均符号長は 0.4 × 1 + 0.3 × 2 + 0.2 × 3 + 0.1 × 3 = 1.9 ビットです。
記号A、B、C、Dを確率0.4、0.3、0.2、0.1で、互いに独立に出す情報源を、ハフマン符号で符号化する。1記号あ…符号長はA、B、Cが2ビット、DとEが3ビットになり、平均符号長は (0.3 + 0.25 + 0.2) × 2 + (0.15 + 0.1) × 3 = 1.5 + 0.75 = 2.25 ビットです。
記号A〜Eを確率0.3、0.25、0.2、0.15、0.1で、互いに独立に出す情報源を、ハフマン符号で符号化する。等し…平均符号長は 0.6 × 1 + 0.3 × 2 + 0.1 × 2 = 1.4 ビットで、効率は 1.30 ÷ 1.4 ≈ 0.93、つまり約93%です。
記号A、B、Cを確率0.6、0.3、0.1で、互いに独立に出す情報源があり、そのエントロピーは約1.30ビットである。…可変長符号は、よく出る記号に短い符号語を、まれな記号に長い符号語を割り当て、1記号あたりの平均のビット数(平均符号長)を短くします。
固定長符号と比べたときの、可変長符号の説明として、正しいものはどれか。記号を独立に出す情報源では、可逆な符号の1記号あたりの平均符号長はエントロピー以上になり、記号をまとめて符号化すると、エントロピーにいくらでも近づけられます(情報源符号化定理)。
可逆圧縮と、情報源のエントロピーの関係の説明として、正しいものはどれか。Amazonの検索結果へのリンクです。Amazonのアソシエイトとして、半導体教室は適格販売により収入を得ています。
ハフマン符号 情報エントロピー 接頭符号 可逆圧縮 クラフトの不等式 情報量 前方誤り訂正(FEC) 相互情報量 二元対称通信路 ハミング距離