Welke beschrijving van het verband tussen verliesvrije compressie en de entropie van een bron is juist?

Antwoord: C. De gemiddelde codelengte van een verliesvrije code kan niet kleiner worden gemaakt dan de entropie, maar door symbolen samen te coderen komt ze er dichter bij

Voor een bron die symbolen onafhankelijk uitzendt, is de gemiddelde codelengte per symbool van een verliesvrije code minstens gelijk aan de entropie, en door symbolen samen te coderen komt ze willekeurig dicht bij de entropie (de broncoderingsstelling). Bovendien zijn er 2ⁿ bestanden van n bits, maar in totaal slechts 2ⁿ − 1 kortere bitreeksen, dus geen enkele verliesvrije compressie kan elk bestand korter maken. Verliesvrije compressie maakt gegevens met een scheve verdeling of herhalingen korter, ten koste van andere gegevens, die iets langer worden.