Nederlands
Menu

Basis van informatietheorie en codering

Welke beschrijving van de voorwaardelijke entropie H(X|Y) en de wederzijdse informatie I(X;Y) van twee stochastische variabelen X en Y is juist?

  1. AAls men de waarde van Y kent, kan H(X|Y), dat de onzekerheid over X uitdrukt, gemiddeld groter worden dan H(X)
  2. BDe wederzijdse informatie I(X;Y) is het grootst wanneer X en Y onafhankelijk zijn, en bedraagt dan H(X) + H(Y)
  3. CI(X;Y) = H(X) − H(X|Y) is de hoeveelheid waarmee de onzekerheid over X afneemt doordat Y bekend is, en is 0 als ze onafhankelijk zijn
Antwoord en toelichting tonen

Antwoord: C. I(X;Y) = H(X) − H(X|Y) is de hoeveelheid waarmee de onzekerheid over X afneemt doordat Y bekend is, en is 0 als ze onafhankelijk zijn

H(X|Y) is de gemiddelde onzekerheid over X die overblijft nadat de waarde van Y bekend is; kennis van Y vergroot de gemiddelde onzekerheid nooit, dus H(X|Y) ≤ H(X). Die afname is de wederzijdse informatie I(X;Y) = H(X) − H(X|Y) = H(X) + H(Y) − H(X, Y), en als X en Y onafhankelijk zijn, is ze 0, omdat Y dan niets over X vertelt. Is in communicatie X het verzonden symbool en Y het ontvangen symbool, dan komt I(X;Y) overeen met de informatie-inhoud die per overdracht werkelijk wordt doorgegeven.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over Basis van informatietheorie en codering

  1. Twee stochastische variabelen X (waarde 0 of 1) en Y (waarde a, b of c) hebben de gezamenlijke kansen P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4, en elke andere combinatie heeft kans 0. Wat is de wederzijdse informatie I(X;Y)?
  2. De 36 tekens die bestaan uit de 26 hoofdletters en de 10 cijfers moeten worden onderscheiden met bitreeksen die allemaal even lang zijn (een code met vaste lengte). Wat is het minimale aantal bits dat per teken nodig is?
  3. Welke beschrijving van een code met variabele lengte, vergeleken met een code met vaste lengte, is juist?
  4. Welke van de volgende verzamelingen codewoorden voor vier symbolen is een prefixcode (een code waarin geen enkel codewoord het begin van een ander codewoord is)?
  5. Een prefixcode kent de codewoorden A = 0, B = 10, C = 110 en D = 111 toe aan de symbolen A, B, C en D. Wat is het resultaat als de bitreeks 110100111 vanaf het begin wordt gedecodeerd?