Français
Menu

Qu'est-ce que Information mutuelle ?

Grandeur qui exprime la quantité d'information que deux variables aléatoires X et Y portent l'une sur l'autre. Elle vaut I(X;Y) = H(X) − H(X|Y) = H(X) + H(Y) − H(X, Y) et correspond à la réduction moyenne de l'incertitude (entropie) sur X obtenue en connaissant Y. Elle n'est jamais négative et vaut 0 lorsque X et Y sont indépendantes. Échanger X et Y donne la même valeur. Si X est l'entrée d'un canal et Y sa sortie, elle représente la quantité d'information transmise par utilisation, et son maximum sur les distributions de probabilité de l'entrée est la capacité du canal.

Nom japonais: 相互情報量

« Information mutuelle » apparaît dans 3 questions d'entraînement réparties sur 1 thèmes, dont Bases de la théorie de l'information et du codage.

Domaine: Bases de la théorie de l'information et du codage

S'entraîner : questions sur Information mutuelle

Pour deux variables aléatoires X et Y, quelle description de l'entropie conditionnelle H(X|Y) et de l'information mutuelle I(X;Y) est correcte ?

  1. AConnaître la valeur de Y peut rendre H(X|Y), qui exprime l'incertitude sur X, supérieure en moyenne à H(X)
  2. BL'information mutuelle I(X;Y) est maximale lorsque X et Y sont indépendantes, et vaut alors H(X) + H(Y)
  3. CI(X;Y) = H(X) − H(X|Y) est la réduction de l'incertitude sur X due à la connaissance de Y, et vaut 0 si elles sont indépendantes
Afficher la réponse et l'explication

Réponse : C. I(X;Y) = H(X) − H(X|Y) est la réduction de l'incertitude sur X due à la connaissance de Y, et vaut 0 si elles sont indépendantes

H(X|Y) est l'incertitude moyenne sur X qui subsiste une fois la valeur de Y connue ; connaître Y n'augmente jamais l'incertitude moyenne, donc H(X|Y) ≤ H(X). Cette réduction est l'information mutuelle I(X;Y) = H(X) − H(X|Y) = H(X) + H(Y) − H(X, Y), et si X et Y sont indépendantes, elle vaut 0, car Y n'apprend alors rien sur X. En communication, si X est le symbole envoyé et Y le symbole reçu, I(X;Y) correspond à la quantité d'information effectivement acheminée à chaque transmission.

Deux variables aléatoires X (valeur 0 ou 1) et Y (valeur a, b ou c) ont les probabilités conjointes P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4, et toute autre combinaison a la probabilité 0. Quelle est l'information mutuelle I(X;Y) ?

  1. A0,5 bit
  2. B1 bit
  3. C1,5 bit
Afficher la réponse et l'explication

Réponse : A. 0,5 bit

X vaut 0 ou 1 avec la probabilité 1/2 chacun, donc H(X) = 1 bit ; Y vaut a avec la probabilité 1/4, b avec 1/2 et c avec 1/4, donc H(Y) = 1,5 bit. Les quatre couples ont chacun la probabilité 1/4, donc H(X, Y) = 2 bits, et I(X;Y) = H(X) + H(Y) − H(X, Y) = 1 + 1,5 − 2 = 0,5 bit. Si Y vaut a ou c, la valeur de X est connue, et si Y vaut b, elle ne l'est pas : Y donne donc une partie de l'information sur X.

« Information mutuelle » dans les explications

Questions mentionnant « Information mutuelle » (3)

  1. Pour deux variables aléatoires X et Y, quelle description de l'entropie conditionnelle H(X|Y) et de l'information mutuelle I(X;Y) est correcte ?
  2. Deux variables aléatoires X (valeur 0 ou 1) et Y (valeur a, b ou c) ont les probabilités conjointes P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4, et toute autre combinaison a la probabilité 0. Quelle est l'information mutuelle I(X;Y) ?
  3. Dans un canal binaire symétrique, on envoie des 0 et des 1, et chaque bit s'inverse indépendamment avec la probabilité 0,1. Avec l'entropie binaire H(p) = −p log₂ p − (1 − p) log₂(1 − p), on a H(0,1) ≈ 0,469. Quelle valeur est la plus proche de la capacité du canal par transmission ?

Termes associés

Entropie de l'information Quantité d'information Canal binaire symétrique Théorème de Shannon (Shannon-Hartley) ECC (code correcteur d'erreurs) Bit de parité Codage de Huffman Codage par plages (RLE) Code de Hamming Code préfixe

Retour au glossaire