Nederlands
Menu

Wat is Informatie-inhoud?

De hoeveelheid informatie die men krijgt wanneer men hoort dat een gebeurtenis met kans p heeft plaatsgevonden. Ze is I = −log₂ p, met de bit als eenheid. Ze is groter naarmate een gebeurtenis minder waarschijnlijk is, en 0 voor een gebeurtenis die zeker plaatsvindt (p = 1). Een gebeurtenis met kans 1/2 levert 1 bit op en een met kans 1/1024 levert 10 bits op. De informatie-inhoud wanneer twee onafhankelijke gebeurtenissen allebei plaatsvinden, is de som van hun afzonderlijke informatie-inhoud. Het met de kansen gewogen gemiddelde van de informatie-inhoud per symbool van een bron is de entropie. Ook zelfinformatie genoemd.

Japanse benaming: 情報量

“Informatie-inhoud” komt voor in 5 oefenvragen uit 1 onderwerpen, bijv. Basis van informatietheorie en codering.

Vakgebied: Basis van informatietheorie en codering

Nu oefenen: vragen over Informatie-inhoud

Stel dat de informatie-inhoud die men krijgt wanneer men hoort dat een gebeurtenis met kans p heeft plaatsgevonden, −log₂ p bit is. Wat is de informatie-inhoud die men krijgt wanneer men hoort dat een gebeurtenis met kans 1/8 heeft plaatsgevonden?

  1. A0,125 bit
  2. B0,375 bit
  3. C3 bit
Antwoord en toelichting tonen

Antwoord: C. 3 bit

De informatie-inhoud is −log₂(1/8) = log₂ 8 = 3 bit. Omdat 1/8 = 1/2³, is dit evenveel informatie als drie keer na elkaar het antwoord horen op een vraag met „twee mogelijkheden” die elk kans 1/2 hebben. Hoe minder waarschijnlijk een gebeurtenis is, hoe groter de informatie-inhoud wanneer men hoort dat ze heeft plaatsgevonden.

Welke uitspraak over de eigenschappen van de informatie-inhoud (−log₂ p wanneer men hoort dat een gebeurtenis met kans p heeft plaatsgevonden) is juist?

  1. AWanneer men hoort dat een gebeurtenis met kans 1, die altijd plaatsvindt, heeft plaatsgevonden, is de informatie-inhoud 1 bit
  2. BWanneer men hoort dat twee onafhankelijke gebeurtenissen allebei hebben plaatsgevonden, is de informatie-inhoud de som van hun afzonderlijke informatie-inhouden
  3. CHoe waarschijnlijker een gebeurtenis is, hoe groter de informatie-inhoud wanneer men hoort dat ze heeft plaatsgevonden
Antwoord en toelichting tonen

Antwoord: B. Wanneer men hoort dat twee onafhankelijke gebeurtenissen allebei hebben plaatsgevonden, is de informatie-inhoud de som van hun afzonderlijke informatie-inhouden

De kans dat twee onafhankelijke gebeurtenissen allebei plaatsvinden, is p₁ × p₂, dus de informatie-inhoud is −log₂(p₁ × p₂) = (−log₂ p₁) + (−log₂ p₂), de som van de afzonderlijke informatie-inhouden. De informatie-inhoud wordt juist met een logaritme gedefinieerd om haar deze eigenschap van optelbaarheid te geven. Horen dat een gebeurtenis die zeker plaatsvindt, heeft plaatsgevonden, leert niets nieuws, dus haar informatie-inhoud is −log₂ 1 = 0.

“Informatie-inhoud” in de toelichting

Vragen met “Informatie-inhoud” (5)

  1. Stel dat de informatie-inhoud die men krijgt wanneer men hoort dat een gebeurtenis met kans p heeft plaatsgevonden, −log₂ p bit is. Wat is de informatie-inhoud die men krijgt wanneer men hoort dat een gebeurtenis met kans 1/8 heeft plaatsgevonden?
  2. Welke uitspraak over de eigenschappen van de informatie-inhoud (−log₂ p wanneer men hoort dat een gebeurtenis met kans p heeft plaatsgevonden) is juist?
  3. Een bron zendt de symbolen A, B, C en D onafhankelijk van elkaar uit met kansen 1/2, 1/4, 1/8 en 1/8. Wat is de entropie (de gemiddelde informatie-inhoud per symbool) van deze bron?
  4. Een bron die 8 soorten symbolen uitzendt, heeft een entropie van 2,4 bit. Als de redundantie wordt gedefinieerd als 1 − (entropie ÷ maximale entropie), wat is dan de redundantie van deze bron?
  5. Welke beschrijving van de voorwaardelijke entropie H(X|Y) en de wederzijdse informatie I(X;Y) van twee stochastische variabelen X en Y is juist?

Verwante termen

Informatie-entropie Verliesvrije compressie Wederzijdse informatie Binair symmetrisch kanaal Compressie met verlies Forward error correction (FEC) Gemiddelde codelengte Hamming-afstand Hamming-code Huffman-code

Naar de woordenlijst