Welche Aussage über den Zusammenhang zwischen verlustfreier Kompression und der Entropie einer Quelle ist richtig?

Antwort: C. Die mittlere Codewortlänge eines verlustfreien Codes kann die Entropie nicht unterschreiten, man kann sich ihr aber durch gemeinsames Kodieren mehrerer Symbole nähern

Bei einer Quelle, die Symbole unabhängig ausgibt, ist die mittlere Codewortlänge pro Symbol jedes verlustfreien Codes mindestens so groß wie die Entropie, und durch gemeinsames Kodieren mehrerer Symbole kommt man der Entropie beliebig nahe (Quellenkodierungstheorem). Außerdem gibt es 2ⁿ Dateien mit n Bit, aber insgesamt nur 2ⁿ − 1 kürzere Bitfolgen, daher gibt es keine verlustfreie Kompression, die alle Dateien verkürzt. Verlustfreie Kompression verkürzt Daten mit ungleich verteilten Symbolen oder Wiederholungen und verlängert dafür andere Daten ein wenig.