Bases de la théorie de l'information et du codage
Quelle propriété de la quantité d'information (−log₂ p lorsqu'on apprend qu'un événement de probabilité p s'est produit) est correcte ?
- ALa quantité d'information obtenue en apprenant qu'un événement de probabilité 1, qui se produit toujours, s'est produit est de 1 bit
- BLa quantité d'information obtenue en apprenant que deux événements indépendants se sont tous deux produits est la somme de leurs quantités d'information
- CPlus un événement est probable, plus la quantité d'information obtenue en apprenant qu'il s'est produit est grande
Afficher la réponse et l'explication
Réponse : B. La quantité d'information obtenue en apprenant que deux événements indépendants se sont tous deux produits est la somme de leurs quantités d'information
Deux événements indépendants se produisent tous deux avec la probabilité p₁ × p₂ : la quantité d'information vaut donc −log₂(p₁ × p₂) = (−log₂ p₁) + (−log₂ p₂), la somme des quantités d'information de chacun. C'est précisément pour lui donner cette propriété d'additivité que l'on définit la quantité d'information avec un logarithme. Apprendre qu'un événement certain s'est produit n'apprend rien de nouveau : sa quantité d'information vaut −log₂ 1 = 0.
Continuer : 9 autres questions sur Bases de la théorie de l'information et du codage