Bases de la théorie de l'information et du codage

Une source émet les symboles A, B, C et D indépendamment les uns des autres avec les probabilités 1/2, 1/4, 1/8 et 1/8. Quelle est l'entropie (quantité d'information moyenne par symbole) de cette source ?

A1,75 bit
B2 bits
C2,25 bits

Afficher la réponse et l'explication

Réponse : A. 1,75 bit

L'entropie est la moyenne de la quantité d'information −log₂ p de chaque symbole, pondérée par sa probabilité : H = Σ(−p log₂ p). Les symboles portent 1, 2, 3 et 3 bits d'information, donc H = 1/2 × 1 + 1/4 × 2 + 1/8 × 3 + 1/8 × 3 = 0,5 + 0,5 + 0,375 + 0,375 = 1,75 bit. Si les quatre symboles étaient équiprobables, elle vaudrait 2 bits, mais une répartition déséquilibrée des probabilités la réduit d'autant.

S'entraîner sur ce thème Retour au thème

Autres questions sur Bases de la théorie de l'information et du codage

Quelle association entre l'entropie maximale d'une source qui émet 8 sortes de symboles et la condition dans laquelle ce maximum est atteint est correcte ?
Une source binaire émet 0 avec la probabilité 0,9 et 1 avec la probabilité 0,1, indépendamment. On prend log₂ 0,9 ≈ −0,152 et log₂ 0,1 ≈ −3,32. Quelle valeur est la plus proche de l'entropie de cette source ?
Une source qui émet 8 sortes de symboles a une entropie de 2,4 bits. Si l'on définit la redondance comme 1 − (entropie ÷ entropie maximale), quelle est la redondance de cette source ?
Pour deux variables aléatoires X et Y, quelle description de l'entropie conditionnelle H(X|Y) et de l'information mutuelle I(X;Y) est correcte ?
Deux variables aléatoires X (valeur 0 ou 1) et Y (valeur a, b ou c) ont les probabilités conjointes P(0, a) = P(0, b) = P(1, b) = P(1, c) = 1/4, et toute autre combinaison a la probabilité 0. Quelle est l'information mutuelle I(X;Y) ?