Basis van informatietheorie en codering

Een bron zendt de symbolen A, B, C en D onafhankelijk van elkaar uit met kansen 1/2, 1/4, 1/8 en 1/8. Wat is de entropie (de gemiddelde informatie-inhoud per symbool) van deze bron?

A1,75 bit
B2 bit
C2,25 bit

Antwoord en toelichting tonen

Antwoord: A. 1,75 bit

De entropie is het gemiddelde van de informatie-inhoud −log₂ p van elk symbool, gewogen met zijn kans: H = Σ(−p log₂ p). De symbolen hebben een informatie-inhoud van 1, 2, 3 en 3 bit, dus H = 1/2 × 1 + 1/4 × 2 + 1/8 × 3 + 1/8 × 3 = 0,5 + 0,5 + 0,375 + 0,375 = 1,75 bit. Als de vier symbolen even waarschijnlijk waren, zou ze 2 bit zijn, maar een scheve verdeling van de kansen maakt haar navenant kleiner.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over Basis van informatietheorie en codering

Welke combinatie van de maximale entropie van een bron die 8 soorten symbolen uitzendt en de voorwaarde waaronder dat maximum wordt bereikt, is juist?
Een binaire bron zendt onafhankelijk 0 uit met kans 0,9 en 1 met kans 0,1. Neem log₂ 0,9 ≈ −0,152 en log₂ 0,1 ≈ −3,32. Welke waarde ligt het dichtst bij de entropie van deze bron?
Een bron die 8 soorten symbolen uitzendt, heeft een entropie van 2,4 bit. Als de redundantie wordt gedefinieerd als 1 − (entropie ÷ maximale entropie), wat is dan de redundantie van deze bron?
Welke beschrijving van de voorwaardelijke entropie H(X|Y) en de wederzijdse informatie I(X;Y) van twee stochastische variabelen X en Y is juist?
Twee stochastische variabelen X (waarde 0 of 1) en Y (waarde a, b of c) hebben de gezamenlijke kansen P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4, en elke andere combinatie heeft kans 0. Wat is de wederzijdse informatie I(X;Y)?