Basis van informatietheorie en codering

Welke combinatie van de maximale entropie van een bron die 8 soorten symbolen uitzendt en de voorwaarde waaronder dat maximum wordt bereikt, is juist?

A3 bit; wanneer een van de symbolen kans 1 heeft
B3 bit; wanneer alle 8 symbolen kans 1/8 hebben
C8 bit; wanneer alle 8 symbolen kans 1/8 hebben

Antwoord en toelichting tonen

Antwoord: B. 3 bit; wanneer alle 8 symbolen kans 1/8 hebben

De entropie van een bron die n soorten symbolen uitzendt, is het grootst wanneer alle symbolen met dezelfde kans 1/n verschijnen, en bedraagt dan log₂ n. Voor n = 8 is dat log₂ 8 = 3 bit. De gemiddelde informatie-inhoud per symbool is het grootst wanneer het het moeilijkst te voorspellen is welk symbool er komt. Verschijnt omgekeerd één symbool met kans 1, dan weet men wat er komt, en is de entropie 0.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over Basis van informatietheorie en codering

Een binaire bron zendt onafhankelijk 0 uit met kans 0,9 en 1 met kans 0,1. Neem log₂ 0,9 ≈ −0,152 en log₂ 0,1 ≈ −3,32. Welke waarde ligt het dichtst bij de entropie van deze bron?
Een bron die 8 soorten symbolen uitzendt, heeft een entropie van 2,4 bit. Als de redundantie wordt gedefinieerd als 1 − (entropie ÷ maximale entropie), wat is dan de redundantie van deze bron?
Welke beschrijving van de voorwaardelijke entropie H(X|Y) en de wederzijdse informatie I(X;Y) van twee stochastische variabelen X en Y is juist?
Twee stochastische variabelen X (waarde 0 of 1) en Y (waarde a, b of c) hebben de gezamenlijke kansen P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4, en elke andere combinatie heeft kans 0. Wat is de wederzijdse informatie I(X;Y)?
De 36 tekens die bestaan uit de 26 hoofdletters en de 10 cijfers moeten worden onderscheiden met bitreeksen die allemaal even lang zijn (een code met vaste lengte). Wat is het minimale aantal bits dat per teken nodig is?