Was ist Informationsentropie?
Der mittlere Informationsgehalt pro Symbol, das eine Quelle ausgibt. Mit den Wahrscheinlichkeiten pᵢ der Symbole ist H = −Σ pᵢ log₂ pᵢ (Bit); sie drückt aus, wie schwer vorherzusagen ist, was als Nächstes kommt. Sie erreicht ihr Maximum log₂ n, wenn alle n Symbole gleich wahrscheinlich sind, und ist 0, wenn immer dasselbe Symbol auftritt. Sie gibt die Untergrenze der mittleren Zahl von Bits an, die bei verlustfreier Kodierung pro Symbol nötig sind. Shannon führte sie 1948 ein; benannt ist sie nach der thermodynamischen Entropie, weil die Formeln ähnlich aussehen. Auch Shannon-Entropie oder mittlerer Informationsgehalt genannt.
Japanische Bezeichnung: 情報エントロピー
„Informationsentropie“ kommt in 11 Übungsfragen aus 2 Themen vor, z. B. Grundlagen der Informationstheorie und Kodierung, Grundlagen des maschinellen Lernens.
Fachgebiet: Grundlagen der Informationstheorie und Kodierung
Rechenbeispiele
Eine Münze mit je 1/2 für Kopf und Zahl hat 1 Bit, ein Würfel, dessen Augenzahlen 1 bis 6 gleich wahrscheinlich sind, hat log₂ 6 ≈ 2,58 Bit. Eine gezinkte Münze mit 0,9 für Kopf und 0,1 für Zahl hat etwa 0,47 Bit, weniger, weil das Ergebnis fast vorhersagbar ist. Ein Symbol mit der Wahrscheinlichkeit 0 wird mit 0 × log₂ 0 = 0 berücksichtigt.
Verwandte Größen
Für zwei Zufallsvariablen betrachtet man die Verbundentropie H(X, Y), die bedingte Entropie H(X|Y), die die nach Kenntnis von Y verbleibende Unsicherheit über X ausdrückt, und ihre Differenz, die Transinformation I(X;Y) = H(X) − H(X|Y). Die im maschinellen Lernen verwendete Kreuzentropie misst den Unterschied zwischen der wahren und der vorhergesagten Verteilung und wird umso kleiner, je besser die Vorhersage zutrifft.
Häufige Fragen
Ist eine Quelle mit größerer Entropie eine bessere Quelle?
Es geht nicht um besser oder schlechter, sondern darum, wie schwer die Quelle vorherzusagen ist. Daten mit hoher Entropie lassen sich schlecht komprimieren, und bei Dingen, die nicht vorhersagbar sein dürfen, wie kryptografischen Schlüsseln und Zufallszahlen, wird eine hohe Entropie verlangt. Stark redundante Daten wie Texte schrumpfen dagegen bei der Kompression gut.
Ist sie dasselbe wie die Entropie in der Physik?
Die Formeln sehen sehr ähnlich aus, und es gibt einen engen Zusammenhang mit der Entropie der statistischen Mechanik, doch die Entropie in der Physik ist an Wärme und Temperatur gebunden und hat andere Einheiten. In der Informationstheorie wird sie als Größe behandelt, die allein durch die Wahrscheinlichkeitsverteilung bestimmt ist.