Die Entropiefunktion

Zusammenfassung

Die mathematische Disziplin, die heutzutage Informationstheorie heißt, wurde erst vor 25 Jahren durch den amerikanischen Ingenieur C. E. Shannon begründet. Shannon nannte seine bahnbrechende Arbeit „A mathematical theory of communication“. Erst später hat die Bezeichnung „Informationstheorie“ Eingang gefunden. Diese Bezeichnung ist nicht ganz zutreffend, denn sie kann höhere Erwartungen wecken als die Theorie erfüllen kann. Es ist daher wichtig, darauf hinzuweisen, daß die Theorie nichts über die Bedeutung, den Inhalt oder den Wert einer Mitteilung (einer „Information“) aussagt. Sie gibt nur Aufschluß über Zusammenhänge, die durch die statistische Struktur bestimmt sind. Daher wird sich der große Unterschied, der in sprachlich-semantischer Hinsicht zwischen Sätzen wie „Es besteht Aussicht auf Regen“ und „Karthago ist gefallen“ besteht, in einer informationstheoretischen Analyse nicht bemerkbar machen.