확률 p로 일어나는 사건이 일어났다는 사실을 전달받았을 때 얻는 정보의 크기. I = −log₂ p로 나타내며 단위는 비트이다. 일어나기 어려운 사건일수록 크고, 반드시 일어나는 사건(p = 1)에서는 0이 된다. 확률 1/2인 사건은 1비트, 확률 1/1024인 사건은 10비트이다. 독립인 두 사건이 모두 일어났을 때의 정보량은 각각의 정보량의 합이 된다. 정보원의 1기호당 정보량을 확률로 평균한 것이 엔트로피이다. 자기 정보량이라고도 한다.
일본어 명칭: 情報量
정보량(Self-Information)은(는) 정보 이론과 부호의 기초 등 1개 분야의 연습 문제 5개에 나와요.
분야: 정보 이론과 부호의 기초
정답: C. 3비트
정보량은 −log₂(1/8) = log₂ 8 = 3비트입니다. 1/8 = 1/2³이므로, 확률 1/2인 '둘 중 하나'를 전달받는 것을 3번 거듭한 것과 같은 양의 정보가 됩니다. 일어나기 어려운 사건일수록, 일어났다는 사실을 전달받았을 때의 정보량은 커집니다.
정답: B. 독립인 두 사건이 모두 일어났다는 사실을 전달받았을 때의 정보량은 각각의 정보량의 합이 된다
독립인 두 사건이 모두 일어날 확률은 p₁ × p₂이므로, 정보량은 −log₂(p₁ × p₂) = (−log₂ p₁) + (−log₂ p₂)가 되어 각각의 정보량의 합이 됩니다. 정보량을 로그로 정의하는 것은 이러한 덧셈의 성질을 갖게 하기 위해서입니다. 반드시 일어나는 사건은 전달받아도 새로 알게 되는 것이 없으므로, 정보량은 −log₂ 1 = 0입니다.
정보량은 −log₂(1/8) = log₂ 8 = 3비트입니다.
사건의 확률을 p라 할 때, 그 사건이 일어났다는 사실을 전달받아 얻는 정보량을 −log₂ p 비트로 한다…독립인 두 사건이 모두 일어날 확률은 p₁ × p₂이므로, 정보량은 −log₂(p₁ × p₂) = (−log₂ p₁) + (−log₂ p₂)가 되어 각각의 정보량의 합이 됩니다.
정보량(확률 p인 사건이 일어났다는 사실을 전달받았을 때의 −log₂ p)의 성질로 올바른 것은?엔트로피는 각 기호의 정보량 −log₂ p를 확률로 가중 평균한 것으로, H = Σ(−p log₂ p)입니다.
기호 A, B, C, D를 각각 확률 1/2, 1/4, 1/8, 1/8로 서로 독립적으로 내는 정보원이 있…중복도는 기호 확률의 치우침 등으로 인해 최대 정보량에 비해 얼마나 낭비가 있는지를 나타냅니다.
8종류의 기호를 내는 정보원의 엔트로피가 2.4비트였다. 중복도를 1 − (엔트로피 ÷ 최대 엔트로피)로 …통신에서는 X를 보낸 기호, Y를 받은 기호라고 하면, I(X;Y)는 1회의 전송으로 실제로 전달되는 정보량에 해당합니다.
두 확률 변수 X, Y에 대하여, 조건부 엔트로피 H(X|Y)와 상호 정보량 I(X;Y)의 설명으로 올바른…정보 엔트로피(Information Entropy) 무손실 압축(Lossless Compression) 상호 정보량(Mutual Information) 런 렝스 부호화(Run-Length Encoding) 손실 압축(Lossy Compression) 순방향 오류 정정(FEC) 이진 대칭 채널(Binary Symmetric Channel) 접두 부호(Prefix Code) 크래프트 부등식(Kraft Inequality) 패리티 비트(Parity Bit)