각 기호의 부호어 길이를 그 기호가 나올 확률로 가중 평균한 값. 기호 i의 확률을 pᵢ, 부호어의 길이를 lᵢ로 하여 L = Σ pᵢ lᵢ(비트/기호)로 나타낸다. 자주 나오는 기호에 짧은 부호어를 할당하면 작아지며, 가역 부호에서는 엔트로피 이상이 된다. 엔트로피를 평균 부호 길이로 나눈 값을 부호화 효율이라 한다. 예를 들어 확률 0.4, 0.3, 0.2, 0.1의 4기호를 허프만 부호로 나타내면 평균 부호 길이는 1.9비트이다.
일본어 명칭: 平均符号長
평균 부호 길이(Average Code Length)은(는) 정보 이론과 부호의 기초 등 1개 분야의 연습 문제 6개에 나와요.
분야: 정보 이론과 부호의 기초
정답: A. 2.25비트
먼저 0.1과 0.15를 묶어 0.25, 다음으로 0.2와 0.25를 묶어 0.45, 남은 0.25와 0.3을 묶어 0.55, 마지막으로 0.45와 0.55를 묶습니다. 부호 길이는 A, B, C가 2비트, D와 E가 3비트가 되며, 평균 부호 길이는 (0.3 + 0.25 + 0.2) × 2 + (0.15 + 0.1) × 3 = 1.5 + 0.75 = 2.25비트입니다. 확률의 치우침이 작은 정보원에서는 1, 2, 3, 4, 4와 같은 계단식 부호 길이보다 길이가 고른 부호가 더 짧아집니다.
평균 부호 길이는 0.4 × 1 + 0.3 × 2 + 0.2 × 3 + 0.1 × 3 = 1.9비트입니다.
기호 A, B, C, D를 확률 0.4, 0.3, 0.2, 0.1로 서로 독립적으로 내는 정보원을 허프만 …부호 길이는 A, B, C가 2비트, D와 E가 3비트가 되며, 평균 부호 길이는 (0.3 + 0.25 + 0.2) × 2 + (0.15 + 0.1) × 3 = 1.5 + 0.75 = 2.25비트입니다.
기호 A~E를 확률 0.3, 0.25, 0.2, 0.15, 0.1로 서로 독립적으로 내는 정보원을 허프만 …평균 부호 길이는 0.6 × 1 + 0.3 × 2 + 0.1 × 2 = 1.4비트이고, 효율은 1.30 ÷ 1.4 ≈ 0.93, 즉 약 93%입니다.
기호 A, B, C를 확률 0.6, 0.3, 0.1로 서로 독립적으로 내는 정보원이 있으며, 그 엔트로피는…가변 길이 부호는 자주 나오는 기호에 짧은 부호어를, 드문 기호에 긴 부호어를 할당하여 1기호당 평균 비트 수(평균 부호 길이)를 짧게 합니다.
고정 길이 부호와 비교했을 때 가변 길이 부호의 설명으로 올바른 것은?기호를 독립적으로 내는 정보원에서는 가역 부호의 1기호당 평균 부호 길이가 엔트로피 이상이 되며, 기호를 묶어서 부호화하면 엔트로피에 얼마든지 가깝게 할 수 있습니다(정보원 부호화 정리).
무손실 압축과 정보원의 엔트로피의 관계에 대한 설명으로 올바른 것은?허프만 부호(Huffman Code) 정보 엔트로피(Information Entropy) 접두 부호(Prefix Code) 무손실 압축(Lossless Compression) 런 렝스 부호화(Run-Length Encoding) 상호 정보량(Mutual Information) 손실 압축(Lossy Compression) 순방향 오류 정정(FEC) 이진 대칭 채널(Binary Symmetric Channel) 정보량(Self-Information)