Français
Menu

Bases de la théorie de l'information et du codage

Deux variables aléatoires X (valeur 0 ou 1) et Y (valeur a, b ou c) ont les probabilités conjointes P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4, et toute autre combinaison a la probabilité 0. Quelle est l'information mutuelle I(X;Y) ?

  1. A0,5 bit
  2. B1 bit
  3. C1,5 bit
Afficher la réponse et l'explication

Réponse : A. 0,5 bit

X vaut 0 ou 1 avec la probabilité 1/2 chacun, donc H(X) = 1 bit ; Y vaut a avec la probabilité 1/4, b avec 1/2 et c avec 1/4, donc H(Y) = 1,5 bit. Les quatre couples ont chacun la probabilité 1/4, donc H(X, Y) = 2 bits, et I(X;Y) = H(X) + H(Y) − H(X, Y) = 1 + 1,5 − 2 = 0,5 bit. Si Y vaut a ou c, la valeur de X est connue, et si Y vaut b, elle ne l'est pas : Y donne donc une partie de l'information sur X.

S'entraîner sur ce thème Retour au thème

Autres questions sur Bases de la théorie de l'information et du codage

  1. Les 36 caractères formés des 26 lettres majuscules et des 10 chiffres doivent être distingués par des suites de bits toutes de même longueur (un code de longueur fixe). Quel est le nombre minimal de bits nécessaire par caractère ?
  2. Par rapport à un code de longueur fixe, quelle description d'un code de longueur variable est correcte ?
  3. Parmi les ensembles de mots de code suivants, attribués à quatre symboles, lequel est un code préfixe (code dans lequel aucun mot de code n'est le début d'un autre mot de code) ?
  4. Un code préfixe attribue les mots de code A = 0, B = 10, C = 110 et D = 111 aux symboles A, B, C et D. Quel est le résultat du décodage de la suite de bits 110100111 depuis le début ?
  5. On veut construire un code préfixe binaire en attribuant aux quatre symboles A à D des mots de code des longueurs (nombres de bits) suivantes. Quelle combinaison de longueurs de code le permet ?