Lexikalische Analyse

Zusammenfassung

In diesem Kapitel beschreiben wir zuerst die Aufgabe der lexikalischen Analyse. Dann führen wir reguläre Ausdrücke als Hilfsmittel zur formalen Spezifikation dieser Aufgabe ein. Schließlich zeigen wir, wie endliche Automaten für die Realisierung eingesetzt werden können. Wir erläutern, wie man zu einem regulären Ausdruck einen nichtdeterministischen endlichen Automaten erzeugt, der genau die von dem regulären Ausdruck beschriebene Sprache akzeptiert, wie dieser deterministisch gemacht werden kann, und wie die Anzahl der Zustände eines gegebenen deterministischen Automaten gegebenenfalls verringert werden kann. Diese drei Schritte liefern ein Generierungsverfahren für lexikalische Analysatoren (Scanner). Am Ende diskutieren wir einige praktische Erweiterungen und erläutern, wie ein Scanner um einen Sieber erweitert werden kann.