Basis van informatietheorie en codering
Een bron zendt de symbolen A, B en C onafhankelijk uit met kansen 0,6; 0,3 en 0,1, en haar entropie is ongeveer 1,30 bit. Welke waarde ligt het dichtst bij het rendement (entropie ÷ gemiddelde codelengte) wanneer deze bron met een Huffman-code wordt gecodeerd?
- AOngeveer 65%
- B70%
- COngeveer 93%
Antwoord en toelichting tonen
Antwoord: C. Ongeveer 93%
De Huffman-code voegt 0,1 en 0,3 samen tot 0,4 en daarna 0,4 en 0,6, zodat de codelengtes 1 bit voor A en 2 bit voor B en C zijn. De gemiddelde codelengte is 0,6 × 1 + 0,3 × 2 + 0,1 × 2 = 1,4 bit, en het rendement is 1,30 ÷ 1,4 ≈ 0,93, oftewel ongeveer 93%. De resterende 7% of zo is verspilling die ontstaat doordat codelengtes beperkt zijn tot gehele aantallen bits.
Verder: nog 9 vragen over Basis van informatietheorie en codering