정보원이 내는 1기호당 정보량의 평균. 각 기호의 확률을 pᵢ로 하여 H = −Σ pᵢ log₂ pᵢ(비트)로 나타내며, 다음에 무엇이 나올지 예상하기 어려운 정도를 나타낸다. n종류의 기호가 모두 같은 확률로 나올 때 최댓값 log₂ n이 되고, 하나의 기호가 반드시 나올 때는 0이 된다. 가역 부호화로 1기호를 나타내는 데 필요한 평균 비트 수의 하한을 준다. 1948년에 섀넌이 도입했으며, 열역학의 엔트로피와 식의 형태가 비슷하다는 데서 이름 붙여졌다. 평균 정보량, 섀넌 엔트로피라고도 한다.
일본어 명칭: 情報エントロピー
정보 엔트로피(Information Entropy)은(는) 정보 이론과 부호의 기초, 머신러닝의 기초 등 2개 분야의 연습 문제 11개에 나와요.
분야: 정보 이론과 부호의 기초
앞면과 뒷면이 1/2씩인 동전은 1비트, 1~6의 눈이 같은 확률로 나오는 주사위는 log₂ 6 ≈ 2.58비트입니다. 앞면이 0.9, 뒷면이 0.1인 치우친 동전은 약 0.47비트로, 결과를 거의 예상할 수 있는 만큼 작아집니다. 확률이 0인 기호는 0 × log₂ 0 = 0으로 취급합니다.
기호를 독립적으로 내는 정보원에서는 어떤 가역 부호라도 1기호당 평균 부호 길이를 엔트로피보다 작게 할 수 없습니다(정보원 부호화 정리). 허프만 부호의 평균 부호 길이는 엔트로피 이상, 엔트로피 + 1비트 미만이 되며, 기호를 묶어서 부호화하면 1기호당으로는 엔트로피에 얼마든지 가깝게 할 수 있습니다.
두 확률 변수에 대해서는 결합 엔트로피 H(X, Y), Y를 안 뒤에 남는 X의 불확실성을 나타내는 조건부 엔트로피 H(X|Y), 그 차인 상호 정보량 I(X;Y) = H(X) − H(X|Y)를 생각합니다. 머신러닝에서 사용하는 교차 엔트로피는 실제 분포와 예측한 분포의 차이를 재는 양으로, 예측이 잘 맞을수록 작아집니다.
정답: B. 3비트. 8종류의 기호의 확률이 모두 1/8일 때
n종류의 기호를 내는 정보원의 엔트로피는 모든 기호가 같은 확률 1/n으로 나올 때 최대가 되며, 그 값은 log₂ n입니다. n = 8이라면 log₂ 8 = 3비트입니다. 어느 기호가 나올지 가장 예상하기 어려울 때 1기호당 평균 정보량이 최대가 됩니다. 반대로 하나의 기호가 확률 1로 나올 때는 무엇이 나올지 알고 있으므로 엔트로피는 0입니다.
좋고 나쁨이 아니라 예상하기 어려운 정도의 크기입니다. 엔트로피가 큰 데이터는 압축하기 어렵고, 암호 키나 난수처럼 예측되면 곤란한 것에서는 엔트로피가 클 것이 요구됩니다. 반대로 문장처럼 중복도가 큰 데이터는 압축하면 잘 줄어듭니다.
식의 형태는 매우 비슷하고 통계 역학의 엔트로피와는 깊은 관계가 있지만, 물리의 엔트로피는 열이나 온도와 결부된 양으로 단위도 다릅니다. 정보 이론에서는 확률 분포만으로 정해지는 양으로 다룹니다.
엔트로피는 각 기호의 정보량 −log₂ p를 확률로 가중 평균한 것으로, H = Σ(−p log₂ p)입니다.
기호 A, B, C, D를 각각 확률 1/2, 1/4, 1/8, 1/8로 서로 독립적으로 내는 정보원이 있…n종류의 기호를 내는 정보원의 엔트로피는 모든 기호가 같은 확률 1/n으로 나올 때 최대가 되며, 그 값은 log₂ n입니다.
8종류의 기호를 내는 정보원의 엔트로피의 최댓값과, 최대가 되는 조건의 조합으로 올바른 것은?0과 1이 같은 확률로 나온다면 1비트이지만, 여기서는 0이 나올 것을 거의 예상할 수 있으므로 1기호당 평균 정보량은 절반 이하가 됩니다.
0을 확률 0.9, 1을 확률 0.1로 서로 독립적으로 내는 이진 정보원이 있다. log₂ 0.9 ≈ −0…8종류의 기호의 최대 엔트로피는 log₂ 8 = 3비트이므로, 중복도는 1 − 2.4 ÷ 3 = 1 − 0.8 = 0.2, 즉 20%입니다.
8종류의 기호를 내는 정보원의 엔트로피가 2.4비트였다. 중복도를 1 − (엔트로피 ÷ 최대 엔트로피)로 …기호를 독립적으로 내는 정보원에서는 가역 부호의 1기호당 평균 부호 길이가 엔트로피 이상이 되며, 기호를 묶어서 부호화하면 엔트로피에 얼마든지 가깝게 할 수 있습니다(정보원 부호화 정리).
무손실 압축과 정보원의 엔트로피의 관계에 대한 설명으로 올바른 것은?정보량(Self-Information) 평균 부호 길이(Average Code Length) 무손실 압축(Lossless Compression) 상호 정보량(Mutual Information) 허프만 부호(Huffman Code) 이진 대칭 채널(Binary Symmetric Channel) 섀넌의 정리(Shannon's Theorem) ECC(오류 정정 부호) 런 렝스 부호화(Run-Length Encoding) 손실 압축(Lossy Compression)