Codierung für diskrete gedächtnislose Quellen

Auszug

In Abschnitt 2.2 wurde die Entropie (2.4) als der mittlere Informationsgehalt einer diskreten gedächtnislosen Quelle eingeführt. Darüber hinaus wurde gezeigt, dass die von einer Quelle abgegebenen Zeichen ohne Informationsverlust durch binäre Auswahlvorgänge, also Ja-oder- Nein-Entscheidungen, rekonstruiert werden können. Damit kann der Zeichenvorrat einer diskreten Quelle stets ohne Informationsverlust durch die Binärzeichen eines Codes dargestellt werden. Bei einem eindeutig umkehrbaren Code geht keine Information verloren, denn die Zeichen können aus den Codewörtern eindeutig wieder gewonnen werden.