Basis van informatietheorie en codering

Een bron die 8 soorten symbolen uitzendt, heeft een entropie van 2,4 bit. Als de redundantie wordt gedefinieerd als 1 − (entropie ÷ maximale entropie), wat is dan de redundantie van deze bron?

A20%
B25%
C80%

Antwoord en toelichting tonen

Antwoord: A. 20%

De maximale entropie voor 8 soorten symbolen is log₂ 8 = 3 bit, dus de redundantie is 1 − 2,4 ÷ 3 = 1 − 0,8 = 0,2, oftewel 20%. De redundantie geeft aan hoeveel er, onder meer door scheve kansen van de symbolen, verspild wordt ten opzichte van de maximale informatie-inhoud. Hoe redundanter een bron, hoe meer ruimte er is om haar met verliesvrije compressie kleiner te maken.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over Basis van informatietheorie en codering

Welke beschrijving van de voorwaardelijke entropie H(X|Y) en de wederzijdse informatie I(X;Y) van twee stochastische variabelen X en Y is juist?
Twee stochastische variabelen X (waarde 0 of 1) en Y (waarde a, b of c) hebben de gezamenlijke kansen P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4, en elke andere combinatie heeft kans 0. Wat is de wederzijdse informatie I(X;Y)?
De 36 tekens die bestaan uit de 26 hoofdletters en de 10 cijfers moeten worden onderscheiden met bitreeksen die allemaal even lang zijn (een code met vaste lengte). Wat is het minimale aantal bits dat per teken nodig is?
Welke beschrijving van een code met variabele lengte, vergeleken met een code met vaste lengte, is juist?
Welke van de volgende verzamelingen codewoorden voor vier symbolen is een prefixcode (een code waarin geen enkel codewoord het begin van een ander codewoord is)?