Bases de la théorie de l'information et du codage

Quelle propriété de la quantité d'information (−log₂ p lorsqu'on apprend qu'un événement de probabilité p s'est produit) est correcte ?

  1. ALa quantité d'information obtenue en apprenant qu'un événement de probabilité 1, qui se produit toujours, s'est produit est de 1 bit
  2. BLa quantité d'information obtenue en apprenant que deux événements indépendants se sont tous deux produits est la somme de leurs quantités d'information
  3. CPlus un événement est probable, plus la quantité d'information obtenue en apprenant qu'il s'est produit est grande
Afficher la réponse et l'explication

Réponse : B. La quantité d'information obtenue en apprenant que deux événements indépendants se sont tous deux produits est la somme de leurs quantités d'information

Deux événements indépendants se produisent tous deux avec la probabilité p₁ × p₂ : la quantité d'information vaut donc −log₂(p₁ × p₂) = (−log₂ p₁) + (−log₂ p₂), la somme des quantités d'information de chacun. C'est précisément pour lui donner cette propriété d'additivité que l'on définit la quantité d'information avec un logarithme. Apprendre qu'un événement certain s'est produit n'apprend rien de nouveau : sa quantité d'information vaut −log₂ 1 = 0.

S'entraîner sur ce thème Retour au thème

Autres questions sur Bases de la théorie de l'information et du codage

  1. Une source émet les symboles A, B, C et D indépendamment les uns des autres avec les probabilités 1/2, 1/4, 1/8 et 1/8. Quelle est l'entropie (quantité d'information moyenne par symbole) de cette source ?
  2. Quelle association entre l'entropie maximale d'une source qui émet 8 sortes de symboles et la condition dans laquelle ce maximum est atteint est correcte ?
  3. Une source binaire émet 0 avec la probabilité 0,9 et 1 avec la probabilité 0,1, indépendamment. On prend log₂ 0,9 ≈ −0,152 et log₂ 0,1 ≈ −3,32. Quelle valeur est la plus proche de l'entropie de cette source ?
  4. Une source qui émet 8 sortes de symboles a une entropie de 2,4 bits. Si l'on définit la redondance comme 1 − (entropie ÷ entropie maximale), quelle est la redondance de cette source ?
  5. Pour deux variables aléatoires X et Y, quelle description de l'entropie conditionnelle H(X|Y) et de l'information mutuelle I(X;Y) est correcte ?