Die Entropie des endlichen Wahrscheinlichkeitsfeldes

Zusammenfassung

Vie schon erwähnt, kann man die Ungewissheit, die der Empfänger vor dem Eintreffen der Nachricht verspürt, vergleichen mit der Ungewissheit, die vor der Durchführung eines Experimentes besteht, dessen Ausgang durch ein Zufallsgesetz bestimmt wird. Vir nehmen zunächst ein ganz einfaches Experiment vor, etwa das Vürfeln mit einem gewöhnlichen Spielwürfel. Bei diesem Versuch sind genau sechs Ergebnisse möglich, entsprechend den 6 möglichen Augenzahlen. Jedem dieser sechs Ergebnisse ist eine bestimmte Wahrscheinlichkeit zugeordnet. Beim normalen Würfel sind alle sechs Ergebnisse gleich wahrscheinlich, also besitzt jedes die Wahrscheinlichkeit 1/6:

Augenzahl:	1	2	3	4	5	6
Wahrscheinlichkeit:	1/6	1/6	1/6	1/6	1/6	1/6