Bases de la théorie de l'information et du codage

Soit −log₂ p bits la quantité d'information obtenue lorsqu'on apprend qu'un événement de probabilité p s'est produit. Quelle est la quantité d'information obtenue lorsqu'on apprend qu'un événement de probabilité 1/8 s'est produit ?

A0,125 bit
B0,375 bit
C3 bits

Afficher la réponse et l'explication

Réponse : C. 3 bits

La quantité d'information vaut −log₂(1/8) = log₂ 8 = 3 bits. Comme 1/8 = 1/2³, c'est autant d'information que d'apprendre trois fois de suite l'issue d'un choix « un sur deux » de probabilité 1/2. Plus un événement est improbable, plus la quantité d'information obtenue en apprenant qu'il s'est produit est grande.

S'entraîner sur ce thème Retour au thème

Autres questions sur Bases de la théorie de l'information et du codage

Quelle propriété de la quantité d'information (−log₂ p lorsqu'on apprend qu'un événement de probabilité p s'est produit) est correcte ?
Une source émet les symboles A, B, C et D indépendamment les uns des autres avec les probabilités 1/2, 1/4, 1/8 et 1/8. Quelle est l'entropie (quantité d'information moyenne par symbole) de cette source ?
Quelle association entre l'entropie maximale d'une source qui émet 8 sortes de symboles et la condition dans laquelle ce maximum est atteint est correcte ?
Une source binaire émet 0 avec la probabilité 0,9 et 1 avec la probabilité 0,1, indépendamment. On prend log₂ 0,9 ≈ −0,152 et log₂ 0,1 ≈ −3,32. Quelle valeur est la plus proche de l'entropie de cette source ?
Une source qui émet 8 sortes de symboles a une entropie de 2,4 bits. Si l'on définit la redondance comme 1 − (entropie ÷ entropie maximale), quelle est la redondance de cette source ?