Wat is Informatie-entropie?
De gemiddelde informatie-inhoud per symbool dat een bron uitzendt. Met pᵢ de kans van elk symbool is ze H = −Σ pᵢ log₂ pᵢ (bit), en ze drukt uit hoe moeilijk te voorspellen is wat er als volgende komt. Ze bereikt haar maximum log₂ n wanneer alle n soorten symbolen even waarschijnlijk zijn, en is 0 wanneer steeds hetzelfde symbool verschijnt. Ze geeft de ondergrens van het gemiddelde aantal bits dat bij verliesvrije codering per symbool nodig is. Shannon voerde haar in 1948 in, en ze is genoemd naar de thermodynamische entropie omdat de formules op elkaar lijken. Ook gemiddelde informatie-inhoud of Shannon-entropie genoemd.
Japanse benaming: 情報エントロピー
“Informatie-entropie” komt voor in 12 oefenvragen uit 3 onderwerpen, bijv. Basis van informatietheorie en codering, Basis van machine learning, Basis en toepassingen van cryptografie.
Vakgebied: Basis van informatietheorie en codering
Rekenvoorbeelden
Een munt met kop en munt elk met kans 1/2 heeft 1 bit, en een dobbelsteen waarvan de ogen 1 tot 6 even waarschijnlijk zijn, heeft log₂ 6 ≈ 2,58 bit. Een onzuivere munt met kop op 0,9 en munt op 0,1 heeft ongeveer 0,47 bit, minder omdat de uitkomst bijna te voorspellen is. Een symbool met kans 0 wordt behandeld als een bijdrage van 0 × log₂ 0 = 0.
Verwante grootheden
Voor twee stochastische variabelen bekijkt men de gezamenlijke entropie H(X, Y), de voorwaardelijke entropie H(X|Y), die de onzekerheid over X uitdrukt die overblijft wanneer Y bekend is, en hun verschil, de wederzijdse informatie I(X;Y) = H(X) − H(X|Y). De kruisentropie die bij machine learning wordt gebruikt, meet het verschil tussen de werkelijke verdeling en de voorspelde, en wordt kleiner naarmate de voorspelling beter is.
Veelgestelde vragen
Is een bron met een hogere entropie een betere bron?
Het gaat niet om beter of slechter, maar om hoe onvoorspelbaar de bron is. Gegevens met een hoge entropie zijn moeilijk te comprimeren, en voor dingen die niet voorspeld mogen worden, zoals cryptografische sleutels en willekeurige getallen, is een hoge entropie vereist. Omgekeerd krimpen sterk redundante gegevens zoals tekst goed bij compressie.
Is het hetzelfde als de entropie in de natuurkunde?
De formules lijken sterk op elkaar, en er is een nauw verband met de entropie uit de statistische mechanica, maar de entropie in de natuurkunde is verbonden met warmte en temperatuur en heeft andere eenheden. De informatietheorie behandelt entropie als een grootheid die alleen door de kansverdeling wordt bepaald.