Was wird häufig verwendet, um die Regeln zur Erkennung von Token in der lexikalischen Analyse auszudrücken?

Antwort: B. Reguläre Ausdrücke und die sie verarbeitenden endlichen Automaten

Die Token-Arten lassen sich mit regulären Ausdrücken knapp schreiben, etwa Bezeichner als „beginnt mit einem Buchstaben, gefolgt von Buchstaben und Ziffern“ oder Zahl als „eine oder mehrere Ziffern“. Reguläre Ausdrücke lassen sich in endliche Automaten (Maschinen mit endlicher Zustandszahl) umwandeln, die allein durch Zustandsübergänge beim Lesen jedes Zeichens Token in einer zur Eingabelänge proportionalen Zeit herausschneiden. Daher werden lexikalische Analysatoren oft mit Werkzeugen gebaut, die sie automatisch aus regulären Ausdrücken erzeugen. Rundungs- und Cache-Regeln haben mit lexikalischer Analyse nichts zu tun.