Français
Menu

Bases de la théorie de l'information et du codage

Quelle association entre l'entropie maximale d'une source qui émet 8 sortes de symboles et la condition dans laquelle ce maximum est atteint est correcte ?

  1. A3 bits ; lorsque l'un des symboles a la probabilité 1
  2. B3 bits ; lorsque les 8 symboles ont tous la probabilité 1/8
  3. C8 bits ; lorsque les 8 symboles ont tous la probabilité 1/8
Afficher la réponse et l'explication

Réponse : B. 3 bits ; lorsque les 8 symboles ont tous la probabilité 1/8

L'entropie d'une source qui émet n sortes de symboles est maximale lorsque tous les symboles apparaissent avec la même probabilité 1/n, et elle vaut alors log₂ n. Pour n = 8, cela donne log₂ 8 = 3 bits. La quantité d'information moyenne par symbole est maximale lorsque le symbole suivant est le plus difficile à prévoir. À l'inverse, lorsqu'un symbole apparaît avec la probabilité 1, on sait ce qui va venir, et l'entropie vaut 0.

S'entraîner sur ce thème Retour au thème

Autres questions sur Bases de la théorie de l'information et du codage

  1. Une source binaire émet 0 avec la probabilité 0,9 et 1 avec la probabilité 0,1, indépendamment. On prend log₂ 0,9 ≈ −0,152 et log₂ 0,1 ≈ −3,32. Quelle valeur est la plus proche de l'entropie de cette source ?
  2. Une source qui émet 8 sortes de symboles a une entropie de 2,4 bits. Si l'on définit la redondance comme 1 − (entropie ÷ entropie maximale), quelle est la redondance de cette source ?
  3. Pour deux variables aléatoires X et Y, quelle description de l'entropie conditionnelle H(X|Y) et de l'information mutuelle I(X;Y) est correcte ?
  4. Deux variables aléatoires X (valeur 0 ou 1) et Y (valeur a, b ou c) ont les probabilités conjointes P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4, et toute autre combinaison a la probabilité 0. Quelle est l'information mutuelle I(X;Y) ?
  5. Les 36 caractères formés des 26 lettres majuscules et des 10 chiffres doivent être distingués par des suites de bits toutes de même longueur (un code de longueur fixe). Quel est le nombre minimal de bits nécessaire par caractère ?