Information, Entropie und Codierungsaufwand

Zusammenfassung

Gegenüber der Umgangssprache hat der Begriff der Information in Mathematik und Informatik eine eingeengte Bedeutung: Das subjektive Interesse an einer Nachricht bleibt unberücksichtigt. Der Zahlenwert der Information soil nur von der Wahrscheinlichkeit der Quellensignale abhängen (objektives Maß; s. 7.1(i).) Der Informationszuwachs nach Kenntnis eines Signals wird als Abbau der vorher bestehenden Unsicherheit über das Eintreffen aufgefaßt; je kleiner die Wahrscheinlichkeit ist, desto größer die Unsicherheit und desto größer die Information als deren Beseitigung. Unterscheiden sich die Wahrscheinlichkeiten zweier Nachrichten nur geringfügig, so soll das auch für ihren Informationsgehalt gelten (vgl. 7.1(ii)). Die Gesamtinformation zweier voneinander unabhängig durch die Quelle gelieferter Signale soll sich außerdem additiv aus den Einzelinformationen zusammensetzen (vgl. 7.1(iii)). So kommt man zu