Shannon’sche Informationstheorie

Zusammenfassung

Wenn Menschen miteinander sprechen, dann tauschen sie Nachrichten aus. In der Informationstheorie hat man sich lange damit beschäftigt, wie der in der Nachricht enthaltene Informationsgehalt quantitativ berechnet werden kann. Eines dieser Ergebnisse ist in der Shannon’schen¹ Informationstheorie beschrieben. Die Informationstheorie basiert, wie jede Theorie, auf einer Abstraktion von der realen Problemstellung und beschreibt die praktisch vorliegende Situation zunächst anhand eines dafür geeigneten Modells. Gerade im Entwurf der relevanten Modelle liegt eine wichtige Aufgabe, die bereits wegweisend für die erreichbaren Lösungen sein kann. Eine theoretische Betrachtung ist aber i.a. kein Selbstzweck, sondern die bei der Analyse des Modells gefundenen Ergebnisse werden anschließend auf das praktisch vorliegende Problem angewandt und die Leistungsfähigkeit der entwickelten Verfahren beurteilt. Die im Bereich der Informationstheorie betrachtete praktische Problemstellung ist die Codierung und Übertragung von Nachrichten.