정보 이론과 부호의 기초
0과 1을 보내며, 각 비트가 서로 독립적으로 확률 0.1로 반전하는 이진 대칭 채널이 있다. 이진 엔트로피 함수를 H(p) = −p log₂ p − (1 − p) log₂(1 − p)라 하면 H(0.1) ≈ 0.469이다. 이 채널의 1회 전송당 채널 용량에 가장 가까운 것은?
- A약 0.47비트
- B약 0.53비트
- C0.9비트
정보 이론과 부호의 기초의 다른 문제
- 섀넌의 채널 부호화 정리의 내용으로 올바른 것은?
- 그레이 코드를 일반 2진수로 바꾸려면, 최상위 비트는 그대로 사용하고, 그보다 하위 비트는 한 자리 위에서 구한 2진수의 비트와 같은 위치의 그레이 코드 비트의 배타적 논리합으로 구한다. 4비트 그레이 코드 1101을 2진수로 바꾼 것은?
- 사건의 확률을 p라 할 때, 그 사건이 일어났다는 사실을 전달받아 얻는 정보량을 −log₂ p 비트로 한다. 확률 1/8로 일어나는 사건이 일어났다는 사실을 전달받았을 때의 정보량은?
- 정보량(확률 p인 사건이 일어났다는 사실을 전달받았을 때의 −log₂ p)의 성질로 올바른 것은?
- 기호 A, B, C, D를 각각 확률 1/2, 1/4, 1/8, 1/8로 서로 독립적으로 내는 정보원이 있다. 이 정보원의 엔트로피(1기호당 평균 정보량)는?