Sparsames Codieren

Zusammenfassung

Sei S eine abzählbare Menge. Wir nennen sie in diesem Kapitel ein Alphabet und ihre Elemente Buchstaben. Unter einem binären Code von S verstehen wir eine injektive Abbildung

$$ k:S \to \bigcup\limits_{\iota \geqslant 1} {\{ 0,1\} ^\iota .} $$

Sie ordnet jedem Buchstaben a eine 01-Folge k(a)=k₁(a)...k_ι(a) endlicher Länge l=ℓ(a) als Codewort zu. Die Abbildung

$$ \ell :S \to \mathbb{N} $$

ist das wesentliche Merkmal für die Güte des Codes. Die Codewortlängen sollen möglichst kurz sein — dabei darf man aber nicht aus den Augen verlieren, dass Codewörter auch wieder entziffert werden sollen. Es ist deshalb sinnvoll, sich auf Präfixcodes zu beschränken. Dies bedeutet, dass kein Codewort Anfangsstück eines anderen Codeworts ist, dass es also für Buchstaben a≠b keine endliche 01-Folge f=f₁...f_m gibt mit k(a)f=k(b)