Basis van informatietheorie en codering

Een bron zendt de symbolen A tot E onafhankelijk uit met kansen 0,3; 0,25; 0,2; 0,15 en 0,1, en wordt gecodeerd met een Huffman-code. De codewoorden kunnen veranderen afhankelijk van welke van twee gelijke kansen eerst wordt gekozen, maar de gemiddelde codelengte niet. Wat is de gemiddelde codelengte per symbool?

  1. A2,25 bit
  2. B2,4 bit
  3. C3 bit
Antwoord en toelichting tonen

Antwoord: A. 2,25 bit

Eerst worden 0,1 en 0,15 samengevoegd tot 0,25, daarna 0,2 en 0,25 tot 0,45, vervolgens de resterende 0,25 en 0,3 tot 0,55, en ten slotte 0,45 en 0,55. De codelengtes zijn 2 bit voor A, B en C en 3 bit voor D en E, en de gemiddelde codelengte is (0,3 + 0,25 + 0,2) × 2 + (0,15 + 0,1) × 3 = 1,5 + 0,75 = 2,25 bit. Bij een bron waarvan de kansen weinig scheef verdeeld zijn, is een code met bijna gelijke lengtes korter dan een code met trapsgewijze lengtes zoals 1, 2, 3, 4, 4.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over Basis van informatietheorie en codering

  1. Een bron zendt de symbolen A, B en C onafhankelijk uit met kansen 0,6; 0,3 en 0,1, en haar entropie is ongeveer 1,30 bit. Welke waarde ligt het dichtst bij het rendement (entropie ÷ gemiddelde codelengte) wanneer deze bron met een Huffman-code wordt gecodeerd?
  2. Een binaire bron zendt onafhankelijk 0 uit met kans 0,8 en 1 met kans 0,2. De symbolen worden per twee genomen, elk van de vier paren 00, 01, 10 en 11 wordt als één symbool behandeld, en ze worden gecodeerd met een Huffman-code. Wat is de gemiddelde codelengte per oorspronkelijk symbool?
  3. Welke beschrijving van het verband tussen verliesvrije compressie en de entropie van een bron is juist?
  4. De tekenreeks van 40 tekens AAAAAAAAAAAABBBBCCCCCCCCCCCCCCCCCCCCDDDD (12 keer A, 4 keer B, 20 keer C en 4 keer D) wordt gecomprimeerd met run-length encoding, die elke reeks van hetzelfde opeenvolgende teken weergeeft als een paar „teken (1 byte) en aantal (1 byte)”. De oorspronkelijke tekenreeks gebruikt 1 byte per teken. Als de compressieverhouding wordt gedefinieerd als „grootte na compressie ÷ grootte voor compressie”, wat is dan de compressieverhouding?
  5. Welke gegevens worden met run-length encoding waarschijnlijk het kleinst?