Informationstheorie bei Markovketten

Zusammenfassung

Wir haben in Kapitel 1 die grundlegenden Definitionen über die Entropie von Quellen, ihre Kodierung und verschiedene Perspektiven ihrer Anwendung behandelt, und zwar alles unter der Annahme, daß die Quellen gedächtnislos sind. Im letzten Paragraphen von Kapitel 1 haben wir gezeigt, daß diese Annahme einschränkend ist. In der Tat ist es so, daß es kaum gedächtnislose Quellen gibt. Die Betrachtung einer Quelle unter dieser Annahme ist allerdings solange gerechtfertigt, als wir nichts näheres darüber wissen. In gewissem Sinne besteht das gesamte Programm unserer Wissenschaften darin, Strukturen in den Quellen zu entdecken, die uns eine Vorhersage von Ereignissen gestatten und die Komprimierung der beobachteten Ereignisfolgen auf Anfangsbeobachtungen und Gesetze, die deren Entwicklung daraus herzuleiten gestatten. Das Programm, das in reinster Form von Laplace ausgesprochen wurde, lautete: Ermittle einen Weltquerschnitt zu einem Zeitpunkt t₀ und leite daraus aufgrund der Naturgesetze die zukünftige Entwicklung ab. Dieses Bild faßt die Welt als eine Maschine auf mit eventuell infinitesimalen Operationen, die deterministisch abläuft. Das Laplace’sche Programm ist natürlich eine Idealisierung, schon insofern als wir zu keinem Zeitpunkt einen Weltquerschnitt, oder in der Sprache der Informatik die Konfiguration der Maschine vollständig bestimmen können. Aber selbst, wenn wir das könnten, wäre das Programm zum Scheitern verurteilt, wie man durch einen Diagonalisierungsschluß wie beim Halteproblem der Turingmaschine zeigen kann. Die Übertragung dieses Schlusses auf ℝ-Maschinen findet man in meiner Arbeit über Analytische Maschinen. Es soll hier aber der oben behauptete Zusammenhang zwischen den Fragestellungen der Informationstheorie und dem Konzept der Theorienbildung an einem Beispiel etwas näher erläutert werden.