Grundlagen der Informationstheorie und Kodierung

Eine Quelle gibt die Symbole A bis E unabhängig voneinander mit den Wahrscheinlichkeiten 0,3; 0,25; 0,2; 0,15 und 0,1 aus und wird mit einem Huffman-Code kodiert. Je nachdem, welche von zwei gleichen Wahrscheinlichkeiten zuerst gewählt wird, können sich die Codewörter ändern, die mittlere Codewortlänge jedoch nicht. Wie groß ist die mittlere Codewortlänge pro Symbol?

  1. A2,25 Bit
  2. B2,4 Bit
  3. C3 Bit
Antwort und Erläuterung anzeigen

Antwort: A. 2,25 Bit

Zuerst werden 0,1 und 0,15 zu 0,25 zusammengefasst, dann 0,2 und 0,25 zu 0,45, dann die übrigen 0,25 und 0,3 zu 0,55 und zuletzt 0,45 und 0,55. Die Codewortlängen sind 2 Bit für A, B und C und 3 Bit für D und E, und die mittlere Codewortlänge beträgt (0,3 + 0,25 + 0,2) × 2 + (0,15 + 0,1) × 3 = 1,5 + 0,75 = 2,25 Bit. Bei einer Quelle mit wenig ungleichmäßigen Wahrscheinlichkeiten ist ein Code mit gleichmäßigen Längen kürzer als gestufte Codewortlängen wie 1, 2, 3, 4, 4.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu Grundlagen der Informationstheorie und Kodierung

  1. Eine Quelle gibt die Symbole A, B und C unabhängig voneinander mit den Wahrscheinlichkeiten 0,6; 0,3 und 0,1 aus; ihre Entropie beträgt etwa 1,30 Bit. Welcher Wert liegt der Effizienz (Entropie ÷ mittlere Codewortlänge) am nächsten, wenn diese Quelle mit einem Huffman-Code kodiert wird?
  2. Eine binäre Quelle gibt unabhängig voneinander 0 mit der Wahrscheinlichkeit 0,8 und 1 mit der Wahrscheinlichkeit 0,2 aus. Je 2 Symbole werden zusammengefasst; die 4 Kombinationen 00, 01, 10 und 11 werden jeweils als ein Symbol betrachtet und mit einem Huffman-Code kodiert. Wie groß ist die mittlere Codewortlänge pro ursprünglichem Symbol?
  3. Welche Aussage über den Zusammenhang zwischen verlustfreier Kompression und der Entropie einer Quelle ist richtig?
  4. Die 40 Zeichen lange Zeichenkette AAAAAAAAAAAABBBBCCCCCCCCCCCCCCCCCCCCDDDD (12-mal A, 4-mal B, 20-mal C, 4-mal D) wird mit einer Lauflängenkodierung komprimiert, die jede Folge gleicher Zeichen als Paar „Zeichen (1 Byte) und Anzahl (1 Byte)“ darstellt. Die ursprüngliche Zeichenkette belegt 1 Byte pro Zeichen, und die Kompressionsrate sei „Größe nach der Kompression ÷ Größe vor der Kompression“. Wie groß ist die Kompressionsrate?
  5. Bei welchen Daten lässt sich die Größe durch Lauflängenkodierung am ehesten stark verringern?