Basis van informatietheorie en codering

Welke uitspraak over de eigenschappen van de informatie-inhoud (−log₂ p wanneer men hoort dat een gebeurtenis met kans p heeft plaatsgevonden) is juist?

AWanneer men hoort dat een gebeurtenis met kans 1, die altijd plaatsvindt, heeft plaatsgevonden, is de informatie-inhoud 1 bit
BWanneer men hoort dat twee onafhankelijke gebeurtenissen allebei hebben plaatsgevonden, is de informatie-inhoud de som van hun afzonderlijke informatie-inhouden
CHoe waarschijnlijker een gebeurtenis is, hoe groter de informatie-inhoud wanneer men hoort dat ze heeft plaatsgevonden

Antwoord en toelichting tonen

Antwoord: B. Wanneer men hoort dat twee onafhankelijke gebeurtenissen allebei hebben plaatsgevonden, is de informatie-inhoud de som van hun afzonderlijke informatie-inhouden

De kans dat twee onafhankelijke gebeurtenissen allebei plaatsvinden, is p₁ × p₂, dus de informatie-inhoud is −log₂(p₁ × p₂) = (−log₂ p₁) + (−log₂ p₂), de som van de afzonderlijke informatie-inhouden. De informatie-inhoud wordt juist met een logaritme gedefinieerd om haar deze eigenschap van optelbaarheid te geven. Horen dat een gebeurtenis die zeker plaatsvindt, heeft plaatsgevonden, leert niets nieuws, dus haar informatie-inhoud is −log₂ 1 = 0.

Welke uitspraak over de eigenschappen van de informatie-inhoud (−log₂ p wanneer men hoort dat een gebeurtenis met kans p heeft plaatsgevonden) is juist?

Meer vragen over Basis van informatietheorie en codering