Basis van informatietheorie en codering

Stel dat de informatie-inhoud die men krijgt wanneer men hoort dat een gebeurtenis met kans p heeft plaatsgevonden, −log₂ p bit is. Wat is de informatie-inhoud die men krijgt wanneer men hoort dat een gebeurtenis met kans 1/8 heeft plaatsgevonden?

  1. A0,125 bit
  2. B0,375 bit
  3. C3 bit
Antwoord en toelichting tonen

Antwoord: C. 3 bit

De informatie-inhoud is −log₂(1/8) = log₂ 8 = 3 bit. Omdat 1/8 = 1/2³, is dit evenveel informatie als drie keer na elkaar het antwoord horen op een vraag met „twee mogelijkheden” die elk kans 1/2 hebben. Hoe minder waarschijnlijk een gebeurtenis is, hoe groter de informatie-inhoud wanneer men hoort dat ze heeft plaatsgevonden.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over Basis van informatietheorie en codering

  1. Welke uitspraak over de eigenschappen van de informatie-inhoud (−log₂ p wanneer men hoort dat een gebeurtenis met kans p heeft plaatsgevonden) is juist?
  2. Een bron zendt de symbolen A, B, C en D onafhankelijk van elkaar uit met kansen 1/2, 1/4, 1/8 en 1/8. Wat is de entropie (de gemiddelde informatie-inhoud per symbool) van deze bron?
  3. Welke combinatie van de maximale entropie van een bron die 8 soorten symbolen uitzendt en de voorwaarde waaronder dat maximum wordt bereikt, is juist?
  4. Een binaire bron zendt onafhankelijk 0 uit met kans 0,9 en 1 met kans 0,1. Neem log₂ 0,9 ≈ −0,152 en log₂ 0,1 ≈ −3,32. Welke waarde ligt het dichtst bij de entropie van deze bron?
  5. Een bron die 8 soorten symbolen uitzendt, heeft een entropie van 2,4 bit. Als de redundantie wordt gedefinieerd als 1 − (entropie ÷ maximale entropie), wat is dan de redundantie van deze bron?