Français
Menu

Qu'est-ce que Quantité d'information ?

Quantité d'information obtenue lorsqu'on apprend qu'un événement de probabilité p s'est produit. Elle vaut I = −log₂ p et s'exprime en bits. Elle est d'autant plus grande que l'événement est peu probable, et nulle pour un événement certain (p = 1). Un événement de probabilité 1/2 apporte 1 bit, et un événement de probabilité 1/1024 apporte 10 bits. La quantité d'information obtenue quand deux événements indépendants se produisent tous les deux est la somme de leurs quantités d'information. La moyenne, pondérée par les probabilités, de la quantité d'information par symbole d'une source est son entropie. On l'appelle aussi information propre.

Nom japonais: 情報量

« Quantité d'information » apparaît dans 5 questions d'entraînement réparties sur 1 thèmes, dont Bases de la théorie de l'information et du codage.

Domaine: Bases de la théorie de l'information et du codage

S'entraîner : questions sur Quantité d'information

Soit −log₂ p bits la quantité d'information obtenue lorsqu'on apprend qu'un événement de probabilité p s'est produit. Quelle est la quantité d'information obtenue lorsqu'on apprend qu'un événement de probabilité 1/8 s'est produit ?

  1. A0,125 bit
  2. B0,375 bit
  3. C3 bits
Afficher la réponse et l'explication

Réponse : C. 3 bits

La quantité d'information vaut −log₂(1/8) = log₂ 8 = 3 bits. Comme 1/8 = 1/2³, c'est autant d'information que d'apprendre trois fois de suite l'issue d'un choix « un sur deux » de probabilité 1/2. Plus un événement est improbable, plus la quantité d'information obtenue en apprenant qu'il s'est produit est grande.

Quelle propriété de la quantité d'information (−log₂ p lorsqu'on apprend qu'un événement de probabilité p s'est produit) est correcte ?

  1. ALa quantité d'information obtenue en apprenant qu'un événement de probabilité 1, qui se produit toujours, s'est produit est de 1 bit
  2. BLa quantité d'information obtenue en apprenant que deux événements indépendants se sont tous deux produits est la somme de leurs quantités d'information
  3. CPlus un événement est probable, plus la quantité d'information obtenue en apprenant qu'il s'est produit est grande
Afficher la réponse et l'explication

Réponse : B. La quantité d'information obtenue en apprenant que deux événements indépendants se sont tous deux produits est la somme de leurs quantités d'information

Deux événements indépendants se produisent tous deux avec la probabilité p₁ × p₂ : la quantité d'information vaut donc −log₂(p₁ × p₂) = (−log₂ p₁) + (−log₂ p₂), la somme des quantités d'information de chacun. C'est précisément pour lui donner cette propriété d'additivité que l'on définit la quantité d'information avec un logarithme. Apprendre qu'un événement certain s'est produit n'apprend rien de nouveau : sa quantité d'information vaut −log₂ 1 = 0.

« Quantité d'information » dans les explications

Questions mentionnant « Quantité d'information » (5)

  1. Soit −log₂ p bits la quantité d'information obtenue lorsqu'on apprend qu'un événement de probabilité p s'est produit. Quelle est la quantité d'information obtenue lorsqu'on apprend qu'un événement de probabilité 1/8 s'est produit ?
  2. Quelle propriété de la quantité d'information (−log₂ p lorsqu'on apprend qu'un événement de probabilité p s'est produit) est correcte ?
  3. Une source émet les symboles A, B, C et D indépendamment les uns des autres avec les probabilités 1/2, 1/4, 1/8 et 1/8. Quelle est l'entropie (quantité d'information moyenne par symbole) de cette source ?
  4. Une source qui émet 8 sortes de symboles a une entropie de 2,4 bits. Si l'on définit la redondance comme 1 − (entropie ÷ entropie maximale), quelle est la redondance de cette source ?
  5. Pour deux variables aléatoires X et Y, quelle description de l'entropie conditionnelle H(X|Y) et de l'information mutuelle I(X;Y) est correcte ?

Termes associés

Entropie de l'information Compression sans perte Information mutuelle Bit de parité Canal binaire symétrique Codage de Huffman Codage par plages (RLE) Code de Hamming Code préfixe Compression avec perte

Retour au glossaire