Français
Menu

Qu'est-ce que Entropie de l'information ?

Quantité d'information moyenne par symbole émis par une source. Avec pᵢ la probabilité de chaque symbole, elle vaut H = −Σ pᵢ log₂ pᵢ (bits) et exprime à quel point il est difficile de prévoir ce qui va suivre. Elle atteint son maximum log₂ n lorsque les n sortes de symboles sont équiprobables, et vaut 0 lorsqu'un même symbole sort toujours. Elle donne la borne inférieure du nombre moyen de bits nécessaires par symbole dans un codage sans perte. Shannon l'a introduite en 1948, et elle doit son nom à l'entropie thermodynamique, dont la formule a la même forme. On l'appelle aussi quantité d'information moyenne ou entropie de Shannon.

Nom japonais: 情報エントロピー

« Entropie de l'information » apparaît dans 12 questions d'entraînement réparties sur 3 thèmes, dont Bases de la théorie de l'information et du codage, Bases de l'apprentissage automatique, Bases et applications de la cryptographie.

Domaine: Bases de la théorie de l'information et du codage

Exemples de calcul

Une pièce donnant pile et face avec une probabilité de 1/2 chacun a 1 bit, et un dé dont les faces 1 à 6 sont équiprobables a log₂ 6 ≈ 2,58 bits. Une pièce truquée donnant pile à 0,9 et face à 0,1 a environ 0,47 bit, moins parce que le résultat est presque prévisible. Un symbole de probabilité 0 est compté comme une contribution de 0 × log₂ 0 = 0.

La limite du codage

Pour une source qui émet des symboles indépendamment, aucun code sans perte ne peut rendre la longueur moyenne de code par symbole inférieure à l'entropie (théorème du codage de source). La longueur moyenne d'un code de Huffman est au moins égale à l'entropie et inférieure à l'entropie + 1 bit, et coder les symboles par groupes rapproche autant qu'on veut la longueur par symbole de l'entropie.

Grandeurs apparentées

Pour deux variables aléatoires, on considère l'entropie conjointe H(X, Y), l'entropie conditionnelle H(X|Y), qui exprime l'incertitude sur X qui subsiste une fois Y connue, et leur différence, l'information mutuelle I(X;Y) = H(X) − H(X|Y). L'entropie croisée utilisée en apprentissage automatique mesure l'écart entre la distribution réelle et la distribution prédite, et elle diminue à mesure que la prédiction s'améliore.

S'entraîner : questions sur Entropie de l'information

Une source émet les symboles A, B, C et D indépendamment les uns des autres avec les probabilités 1/2, 1/4, 1/8 et 1/8. Quelle est l'entropie (quantité d'information moyenne par symbole) de cette source ?

  1. A1,75 bit
  2. B2 bits
  3. C2,25 bits
Afficher la réponse et l'explication

Réponse : A. 1,75 bit

L'entropie est la moyenne de la quantité d'information −log₂ p de chaque symbole, pondérée par sa probabilité : H = Σ(−p log₂ p). Les symboles portent 1, 2, 3 et 3 bits d'information, donc H = 1/2 × 1 + 1/4 × 2 + 1/8 × 3 + 1/8 × 3 = 0,5 + 0,5 + 0,375 + 0,375 = 1,75 bit. Si les quatre symboles étaient équiprobables, elle vaudrait 2 bits, mais une répartition déséquilibrée des probabilités la réduit d'autant.

Quelle association entre l'entropie maximale d'une source qui émet 8 sortes de symboles et la condition dans laquelle ce maximum est atteint est correcte ?

  1. A3 bits ; lorsque l'un des symboles a la probabilité 1
  2. B3 bits ; lorsque les 8 symboles ont tous la probabilité 1/8
  3. C8 bits ; lorsque les 8 symboles ont tous la probabilité 1/8
Afficher la réponse et l'explication

Réponse : B. 3 bits ; lorsque les 8 symboles ont tous la probabilité 1/8

L'entropie d'une source qui émet n sortes de symboles est maximale lorsque tous les symboles apparaissent avec la même probabilité 1/n, et elle vaut alors log₂ n. Pour n = 8, cela donne log₂ 8 = 3 bits. La quantité d'information moyenne par symbole est maximale lorsque le symbole suivant est le plus difficile à prévoir. À l'inverse, lorsqu'un symbole apparaît avec la probabilité 1, on sait ce qui va venir, et l'entropie vaut 0.

Questions fréquentes

Une source d'entropie plus élevée est-elle une meilleure source ?

Il ne s'agit pas de mieux ou de moins bien, mais du degré d'imprévisibilité de la source. Les données à forte entropie se compressent mal, et pour ce qui ne doit pas être prévisible, comme les clés de chiffrement et les nombres aléatoires, une forte entropie est exigée. À l'inverse, des données très redondantes comme du texte se réduisent bien à la compression.

Est-ce la même chose que l'entropie en physique ?

Les formules se ressemblent beaucoup, et elle est étroitement liée à l'entropie de la mécanique statistique, mais l'entropie en physique est liée à la chaleur et à la température et a d'autres unités. La théorie de l'information traite l'entropie comme une grandeur déterminée par la seule distribution de probabilité.

« Entropie de l'information » dans les explications

Questions mentionnant « Entropie de l'information » (12)

  1. Une source émet les symboles A, B, C et D indépendamment les uns des autres avec les probabilités 1/2, 1/4, 1/8 et 1/8. Quelle est l'entropie (quantité d'information moyenne par symbole) de cette source ?
  2. Quelle association entre l'entropie maximale d'une source qui émet 8 sortes de symboles et la condition dans laquelle ce maximum est atteint est correcte ?
  3. Une source binaire émet 0 avec la probabilité 0,9 et 1 avec la probabilité 0,1, indépendamment. On prend log₂ 0,9 ≈ −0,152 et log₂ 0,1 ≈ −3,32. Quelle valeur est la plus proche de l'entropie de cette source ?
  4. Une source qui émet 8 sortes de symboles a une entropie de 2,4 bits. Si l'on définit la redondance comme 1 − (entropie ÷ entropie maximale), quelle est la redondance de cette source ?
  5. Pour deux variables aléatoires X et Y, quelle description de l'entropie conditionnelle H(X|Y) et de l'information mutuelle I(X;Y) est correcte ?
  6. Une source émet les symboles A, B et C indépendamment avec les probabilités 0,6 ; 0,3 et 0,1, et son entropie vaut environ 1,30 bit. Quelle valeur est la plus proche de l'efficacité (entropie ÷ longueur moyenne de code) lorsque cette source est codée avec un code de Huffman ?
  7. Quelle description de la relation entre la compression sans perte et l'entropie d'une source est correcte ?
  8. Dans un canal binaire symétrique, on envoie des 0 et des 1, et chaque bit s'inverse indépendamment avec la probabilité 0,1. Avec l'entropie binaire H(p) = −p log₂ p − (1 − p) log₂(1 − p), on a H(0,1) ≈ 0,469. Quelle valeur est la plus proche de la capacité du canal par transmission ?
  9. Soit p la probabilité que le modèle attribue à la bonne classe. Quelle affirmation décrit correctement la perte d'entropie croisée −log p utilisée pour l'apprentissage en classification ?
  10. Une source binaire émet 0 avec la probabilité 0,8 et 1 avec la probabilité 0,2, indépendamment. On regroupe les symboles deux par deux, on traite chacun des quatre couples 00, 01, 10 et 11 comme un seul symbole, et on les code avec un code de Huffman. Quelle est la longueur moyenne de code par symbole d'origine ?
  11. Un nœud d'un arbre de décision contient 6 données de la classe A et 4 données de la classe B. Quelle est l'impureté de Gini de ce nœud ?
  12. Dans des protocoles comme TLS 1.3, le secret partagé obtenu par un échange de clés ECDHE n'est pas utilisé directement comme clé de chiffrement : les clés sont produites en le faisant passer par une fonction de dérivation de clé (KDF) comme HKDF. Quelle en est une raison appropriée ?

Termes associés

Quantité d'information Longueur moyenne de code Compression sans perte Information mutuelle Codage de Huffman Canal binaire symétrique Théorème de Shannon (Shannon-Hartley) ECC (code correcteur d'erreurs) TLS (Transport Layer Security) Échange de clés Diffie-Hellman

Retour au glossaire