Nederlands
Menu

Wat is Wederzijdse informatie?

Grootheid die uitdrukt hoeveel informatie twee stochastische variabelen X en Y over elkaar bevatten. Ze is I(X;Y) = H(X) − H(X|Y) = H(X) + H(Y) − H(X, Y), en komt overeen met hoeveel de onzekerheid (entropie) van X gemiddeld afneemt doordat Y bekend is. Ze is nooit negatief en is 0 wanneer X en Y onafhankelijk zijn. Verwisselen van X en Y geeft dezelfde waarde. Met X de invoer van een kanaal en Y de uitvoer is ze de informatie-inhoud die per overdracht wordt doorgegeven, en haar maximum over de kansverdelingen van de invoer is de kanaalcapaciteit.

Japanse benaming: 相互情報量

“Wederzijdse informatie” komt voor in 3 oefenvragen uit 1 onderwerpen, bijv. Basis van informatietheorie en codering.

Vakgebied: Basis van informatietheorie en codering

Nu oefenen: vragen over Wederzijdse informatie

Welke beschrijving van de voorwaardelijke entropie H(X|Y) en de wederzijdse informatie I(X;Y) van twee stochastische variabelen X en Y is juist?

  1. AAls men de waarde van Y kent, kan H(X|Y), dat de onzekerheid over X uitdrukt, gemiddeld groter worden dan H(X)
  2. BDe wederzijdse informatie I(X;Y) is het grootst wanneer X en Y onafhankelijk zijn, en bedraagt dan H(X) + H(Y)
  3. CI(X;Y) = H(X) − H(X|Y) is de hoeveelheid waarmee de onzekerheid over X afneemt doordat Y bekend is, en is 0 als ze onafhankelijk zijn
Antwoord en toelichting tonen

Antwoord: C. I(X;Y) = H(X) − H(X|Y) is de hoeveelheid waarmee de onzekerheid over X afneemt doordat Y bekend is, en is 0 als ze onafhankelijk zijn

H(X|Y) is de gemiddelde onzekerheid over X die overblijft nadat de waarde van Y bekend is; kennis van Y vergroot de gemiddelde onzekerheid nooit, dus H(X|Y) ≤ H(X). Die afname is de wederzijdse informatie I(X;Y) = H(X) − H(X|Y) = H(X) + H(Y) − H(X, Y), en als X en Y onafhankelijk zijn, is ze 0, omdat Y dan niets over X vertelt. Is in communicatie X het verzonden symbool en Y het ontvangen symbool, dan komt I(X;Y) overeen met de informatie-inhoud die per overdracht werkelijk wordt doorgegeven.

Twee stochastische variabelen X (waarde 0 of 1) en Y (waarde a, b of c) hebben de gezamenlijke kansen P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4, en elke andere combinatie heeft kans 0. Wat is de wederzijdse informatie I(X;Y)?

  1. A0,5 bit
  2. B1 bit
  3. C1,5 bit
Antwoord en toelichting tonen

Antwoord: A. 0,5 bit

X is 0 of 1 met elk kans 1/2, dus H(X) = 1 bit; Y is a met kans 1/4, b met kans 1/2 en c met kans 1/4, dus H(Y) = 1,5 bit. De vier paren hebben elk kans 1/4, dus H(X, Y) = 2 bit, en I(X;Y) = H(X) + H(Y) − H(X, Y) = 1 + 1,5 − 2 = 0,5 bit. Is Y gelijk aan a of c, dan is de waarde van X bekend, en is Y gelijk aan b, dan niet; Y geeft dus een deel van de informatie over X.

“Wederzijdse informatie” in de toelichting

Vragen met “Wederzijdse informatie” (3)

  1. Welke beschrijving van de voorwaardelijke entropie H(X|Y) en de wederzijdse informatie I(X;Y) van twee stochastische variabelen X en Y is juist?
  2. Twee stochastische variabelen X (waarde 0 of 1) en Y (waarde a, b of c) hebben de gezamenlijke kansen P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4, en elke andere combinatie heeft kans 0. Wat is de wederzijdse informatie I(X;Y)?
  3. In een binair symmetrisch kanaal worden 0 en 1 verzonden, en elke bit slaat onafhankelijk om met kans 0,1. Met de binaire entropie H(p) = −p log₂ p − (1 − p) log₂(1 − p) geldt H(0,1) ≈ 0,469. Welke waarde ligt het dichtst bij de kanaalcapaciteit van dit kanaal per overdracht?

Verwante termen

Informatie-entropie Informatie-inhoud Binair symmetrisch kanaal Stelling van Shannon (Shannon-Hartley) ECC (foutcorrigerende code) Compressie met verlies Forward error correction (FEC) Gemiddelde codelengte Hamming-afstand Hamming-code

Naar de woordenlijst