Français
Menu

Bases de la théorie de l'information et du codage

Pour deux variables aléatoires X et Y, quelle description de l'entropie conditionnelle H(X|Y) et de l'information mutuelle I(X;Y) est correcte ?

  1. AConnaître la valeur de Y peut rendre H(X|Y), qui exprime l'incertitude sur X, supérieure en moyenne à H(X)
  2. BL'information mutuelle I(X;Y) est maximale lorsque X et Y sont indépendantes, et vaut alors H(X) + H(Y)
  3. CI(X;Y) = H(X) − H(X|Y) est la réduction de l'incertitude sur X due à la connaissance de Y, et vaut 0 si elles sont indépendantes
Afficher la réponse et l'explication

Réponse : C. I(X;Y) = H(X) − H(X|Y) est la réduction de l'incertitude sur X due à la connaissance de Y, et vaut 0 si elles sont indépendantes

H(X|Y) est l'incertitude moyenne sur X qui subsiste une fois la valeur de Y connue ; connaître Y n'augmente jamais l'incertitude moyenne, donc H(X|Y) ≤ H(X). Cette réduction est l'information mutuelle I(X;Y) = H(X) − H(X|Y) = H(X) + H(Y) − H(X, Y), et si X et Y sont indépendantes, elle vaut 0, car Y n'apprend alors rien sur X. En communication, si X est le symbole envoyé et Y le symbole reçu, I(X;Y) correspond à la quantité d'information effectivement acheminée à chaque transmission.

S'entraîner sur ce thème Retour au thème

Autres questions sur Bases de la théorie de l'information et du codage

  1. Deux variables aléatoires X (valeur 0 ou 1) et Y (valeur a, b ou c) ont les probabilités conjointes P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4, et toute autre combinaison a la probabilité 0. Quelle est l'information mutuelle I(X;Y) ?
  2. Les 36 caractères formés des 26 lettres majuscules et des 10 chiffres doivent être distingués par des suites de bits toutes de même longueur (un code de longueur fixe). Quel est le nombre minimal de bits nécessaire par caractère ?
  3. Par rapport à un code de longueur fixe, quelle description d'un code de longueur variable est correcte ?
  4. Parmi les ensembles de mots de code suivants, attribués à quatre symboles, lequel est un code préfixe (code dans lequel aucun mot de code n'est le début d'un autre mot de code) ?
  5. Un code préfixe attribue les mots de code A = 0, B = 10, C = 110 et D = 111 aux symboles A, B, C et D. Quel est le résultat du décodage de la suite de bits 110100111 depuis le début ?