3. Endliche Automaten

3.2 Die Darstellungen der endlichen Automaten

Endlicher Automat (3.1)

Ein (deterministischer) endlicher Automat (EA) ist ein Quintupel $M=(Q,\Sigma ,\delta ,q_0,F)$, wobei

1. $Q$ eine endliche Menge von Zuständen ist,
2. $\Sigma$ ein Alphabet ist (Eingabealphabet),
3. $q_0\in Q$ der Anfangszustand ist,
4. $F\subseteq Q$ die Menge der akzeptierenden Zustände ist,
5. $\delta :Q\times \Sigma \to Q$ die Übergangsfunktion ist ($\delta (q,a)=p$: $M$ geht beim Lesen von $a$ in $q$ nach $p$ über).

Note: The transition function is total, i.e. we cannot have “not allowed transitions”. To work around it, we use a “garbage state” / sink which is non-accepting and self-loops for everything.

Konfiguration (3.1)

Sei $M=(Q,\Sigma ,\delta ,q_0,F)$ ein EA. Eine Konfiguration von $M$ ist ein Element aus $Q\times {\Sigma }^{\ast }$ ($M$ im Zustand $q$, noch zu lesendes Suffix $w$).

Note Spezialfälle:

• $(q_0,x)$ ist die Startkonfiguration von $M$ auf $x$.
• Jede Konfiguration aus $Q\times \{\lambda \}$ ist eine Endkonfiguration.

Schritt (3.1)

Ein Schritt von $M$ ist die Relation ${⊢}_M\subseteq (Q\times {\Sigma }^{\ast })\times (Q\times {\Sigma }^{\ast })$ mit

$$(q,w){⊢}_M(p,x)⟺w=ax,a\in \Sigma \text{ und }\delta (q,a)=p$$

Note: Warum Relation? warum nicht einfach eine Funktion? Weil später ein nicht-deterministischer EA von einem input → mehrer Outputs hat.

Example: Berechnung auf $1011$: $(q_0,1011){⊢}_M(q_1,011){⊢}_M(q_3,11){⊢}_M(q_2,1){⊢}_M(q_3,\lambda )$, also $1011\in L(M)$.

Berechnung (3.1)

Eine Berechnung $C$ von $M$ ist eine endliche Folge $C_0,C_1,\dots ,C_n$ von Konfigurationen mit $C_i{⊢}_M{C}_{i+1}$ für $0\le i\le n-1$.
$C$ ist die Berechnung von $M$ auf $x\in {\Sigma }^{\ast }$, falls $C_0=(q_0,x)$ und $C_n\in Q\times \{\lambda \}$.

Outcomes:

• $C_n\in F\times \{\lambda \}$, ist $C$ akzeptierend und $M$ akzeptiert $x$;
• $C_n\in (Q-F)\times \{\lambda \}$, ist $C$ verwerfend und $M$ verwirft $x$.

Note: $M$ hat für jedes $x\in {\Sigma }^{\ast }$ genau eine Berechnung.

Akzeptierte Sprache (3.1)

Die von $M$ akzeptierte Sprache ist

$$L(M)=\{w\in {\Sigma }^{\ast }\mid \text{die Berechnung von }M\text{ auf }w\text{ endet in }(q,\lambda )\text{ mit }q\in F\}$$

Note ${\mathcal{L}}_{\text{EA}}=\{L(M)\mid M\text{ ist ein EA}\}$ ist die Klasse der regulären Sprachen; jedes $L\in {\mathcal{L}}_{\text{EA}}$ heißt regulär.

Reflexive transitive Hülle und erweiterte Übergangsfunktion (3.2)

Sei $M=(Q,\Sigma ,\delta ,q_0,F)$ ein EA. ${⊢}_M^{\ast }$ ist die reflexive und transitive Hülle von ${⊢}_M$:

$(q,w){⊢}_M^{\ast }(p,u)⟺(q=p\text{ und }w=u)$ (reflexiv) oder $\exists k\in \mathbb{N}-\{0\}$ mit

1. $w=a_1{a}_2\dots a_{k}u$, $a_i\in \Sigma$, und
2. $\exists r_1,\dots ,r_{k-1}\in Q$ mit $(q,w){⊢}_M(r_1,a_2\dots a_{k}u){⊢}_M\cdots {⊢}_M(r_{k-1},a_{k}u){⊢}_M(p,u)$.

Wir erweitern also einfach nur die “step”-relation auf das einlesen ganzer Wörter.

Erweiterte Transition-Funktion

$\hat{\delta }:Q\times {\Sigma }^{\ast }\to Q$ ist definiert durch

1. $\hat{\delta }(q,\lambda )=q$ für alle $q\in Q$,
2. $\hat{\delta }(q,wa)=\delta (\hat{\delta }(q,w),a)$ für alle $a\in \Sigma$, $w\in {\Sigma }^{\ast }$, $q\in Q$.

$\hat{\delta }(q,w)=p$ bedeutet $(q,w){⊢}_M^{\ast }(p,\lambda )$. Daher

$$L(M)=\{w\in {\Sigma }^{\ast }\mid (q_0,w){⊢}_M^{\ast }(p,\lambda ),p\in F\}=\{w\in {\Sigma }^{\ast }\mid \hat{\delta }(q_0,w)\in F\}$$

Da jedes Wort deterministisch die gleichen Zustände besucht und dann immer im selben terminiert, können wir die Wörter partitionieren: jedes Wort endet in genau einem State.

Zustandsklassen

Für einen EA $M$ und $p\in Q$ ist

$$\text{Kl}[p]=\{w\in {\Sigma }^{\ast }\mid \hat{\delta }(q_0,w)=p\}=\{w\in {\Sigma }^{\ast }\mid (q_0,w){⊢}_M^{\ast }(p,\lambda )\}$$

Note: Es gilt $L(M)={\bigcup }_{p\in F}\text{Kl}[p]$.

Man bemerke dass die Relation $x{R}_{\delta }y⟺\hat{\delta }(q_0,x)=\hat{\delta }(q_0,y)$ eine Äquivalenzrelation auf ${\Sigma }^{\ast }$ mit den Klassen $\text{Kl}[p]$ ist.

3.3 Simulationen

3.2

Seien $M_1=(Q_1,\Sigma ,{\delta }_1,q_{01},F_1)$ und $M_2=(Q_2,\Sigma ,{\delta }_2,q_{02},F_2)$ EA. Für jede Mengenoperation $\odot \in \{\cup ,\cap ,-\}$ existiert ein EA $M$ mit

$$L(M)=L(M_1)\odot L(M_2)$$

Wir können diesen Produktautomaten relativ einfach auf Papier entwerfen.

• Die Transitionen entstehen mechanisch.
• Die akzeptierenden Zustände müssen der Operation enstprechen.

3.4 Beweise der Nichtexistenz

Mit dem folgenden Lemma und dem Pigeonhole-Prinzip können wir relativ einfach Beweise der “nicht-Regularität” durchführen.

Das Lemma sagt uns:
→ Sobald zwei Wörter einmal im gleichen Zustand landen, sind sie nicht mehr zu unterscheiden

EAs können nicht mehr Information behalten, als sie Zustände haben → sind schlecht im Zählen.

3.3

Sei $A=(Q,\Sigma ,{\delta }_A,q_0,F)$ ein EA. Seien $x,y\in {\Sigma }^{\ast }$, $x\ne y$, mit

$$(q_0,x){⊢}_A^{\ast }(p,\lambda )\text{und}(q_0,y){⊢}_A^{\ast }(p,\lambda )$$

für ein $p\in Q$ (also ${\hat{\delta }}_A(q_0,x)={\hat{\delta }}_A(q_0,y)=p$).
Dann existiert für jedes $z\in {\Sigma }^{\ast }$ ein $r\in Q$ mit $xz,yz\in \text{Kl}[r]$, insbesondere

$$xz\in L(A)⟺yz\in L(A)$$

Proof: Es gilt $(q_0,xz){⊢}_A^{\ast }(p,z)$ und $(q_0,yz){⊢}_A^{\ast }(p,z)$. Mit $r={\hat{\delta }}_A(p,z)$ enden beide Berechnungen in $(r,\lambda )$; für $r\in F$ sind $xz,yz\in L(A)$, für $r\notin F$ beide nicht.

Example Proof: $L=\{0^n{1}^n\mid n\in \mathbb{N}\}\notin {\mathcal{L}}_{\text{EA}}$. Indirekt:

• Sei $A$ ein EA mit $L(A)=L$ und den Zuständen $Q$.
• Unter den $|Q|+1$ Wörtern $0^1,0^2,\dots ,0^{|Q|+1}$ gibt es $i<j$ mit ${\hat{\delta }}_A(q_0,0^i)={\hat{\delta }}_A(q_0,0^j)$.
• Nach Lemma 3.3 gilt $0^{i}z\in L⟺0^{j}z\in L$ für alle $z$, aber für $z=1^i$ ist $0^i{1}^i\in L$ und $0^j{1}^i\notin L$.

---

Das Pumping Lemma ist die zweite Variante. Hier nehmen wir ein Wort in drei Teilen $y,x,z$ und “pumpen” den $x$ Teil auf:

• es gilt in dem Automaten ${\hat{\delta }}_A(q_0,y)=p$ und ${\hat{\delta }}_A(p,z)=r$
• Falls $(p,x){⊢}_A^{\ast }(p,\lambda )$, dann $(p,x^i){⊢}_A^{\ast }(p,\lambda )$ für alle $i\in \mathbb{N}$;
  • hier muss also eine Schleife entstehen!
• Dann ist $\{y{x}^{i}z\mid i\in \mathbb{N}\}\subseteq \text{Kl}[r]$.
  • entweder alle solchen Wörter sind in $L$ (wenn $r\in F$)
  • oder keines

Der Trick ist: wir suchen ein $x$ sodass ein Cycle ensteht. Dieser muss immer existieren

• Wort mit Länge $|Q|=n_0$, sieht $n_0+1$ Zustände
• muss mindestens einen Zustand 2x sehen, per Pigeonhole

Pumping-Lemma für reguläre Sprachen (3.4)

Sei $L$ regulär. Dann existiert eine Konstante $n_0\in \mathbb{N}$, so dass sich jedes Wort $w\in {\Sigma }^{\ast }$ mit $|w|\ge n_0$ in drei Teile $w=yxz$ zerlegen lässt mit

1. $|yx|\le n_0$,
2. $|x|\ge 1$ und
3. entweder $\{y{x}^{k}z\mid k\in \mathbb{N}\}\subseteq L$ oder $\{y{x}^{k}z\mid k\in \mathbb{N}\}\cap L=\varnothing$.

Note: Das Pumping-Lemma ist nicht stark-genug, für manche nicht-regulären Sprachen, können wir damit keinen Gegenbeweis leisten!!

• Eine solche Sprache is z.B. $L:=\{a^i{b}^j{c}^k:i=0\text{ or }j=k\}\subset \{a,b,c{\}}^{\ast }$

Proof: Sei $A=(Q,\Sigma ,{\delta }_A,q_0,F)$ ein EA mit $L(A)=L$, $n_0=|Q|$. Sei $w=w_1\dots w_{n_0}u$ mit $w_i\in \Sigma$, $u\in {\Sigma }^{\ast }$.

• wenn wir durch die ersten $n_0$ Buchstaben laufen, sehen wir $n_0+1$ Zustände
• Also existieren $i<j$ mit $q_i=q_j$: $(q_0,w_1\dots w_{n_0}){⊢}_A^{\ast }(q_i,w_{i+1}\dots w_{n_0}){⊢}_A^{\ast }(q_i,w_{j+1}\dots w_{n_0}){⊢}_A^{\ast }(q_{n_0},\lambda )$
• Setze $y=w_1\dots w_i$, $x=w_{i+1}\dots w_j$, $z=w_{j+1}\dots w_{n_0}u$.
• Dann $w=yxz$, $|yx|=j\le n_0$ und $|x|=j-i\ge 1$.
• Aus (3.3) folgt $(q_i,x^k){⊢}_A^{\ast }(q_i,\lambda )$ für alle $k$, also $(q_0,y{x}^{k}z){⊢}_A^{\ast }(q_i,x^{k}z){⊢}_A^{\ast }(q_i,z){⊢}_A^{\ast }({\hat{\delta }}_A(q_i,z),\lambda )$
  → Berechnungen enden in ${\hat{\delta }}_A(q_i,z)$; ist dieser in $F$, werden alle $y{x}^{k}z$ akzeptiert, sonst keines.

Proof technique: nicht-regulär

• wollen beweisen, dass für alle $n_0$
• ein wort $w\in L$ mit $|w|\ge n_0$ existiert
• sodass für alle $y,x,z$ mit $w=yxz$, $|yx|\le n_0$ und $|x|\ge 1$
  • müssen also für alle $yxz$ zeigen!
• $\exists y{x}^{k}z\notin L$

Example Proof: $L=\{0^n{1}^n\mid n\in \mathbb{N}\}$, indirekt.

• Wähle $w=0^{n_0}{1}^{n_0}$.
• Wegen (i) ist $y=0^l$, $x=0^m$
• Wegen (ii) $m\ne 0$
• Da $w\in L$, müsste $\{y{x}^{k}z\}=\{0^{n_0-m+km}{1}^{n_0}\mid k\in \mathbb{N}\}\subseteq L$ gelten
  • aber $y{x}^{0}z=0^{n_0-m}{1}^{n_0}\notin L$.
    Note Die Wahl von $w$ ist entscheidend: mit $w=0^{n_0}\notin L$ gelingt der Beweis nicht, mit $w=0^{\lceil n_0/2\rceil }{1}^{\lceil n_0/2\rceil }$ sind drei Fälle für $x$ nötig.

3.5 Nichtdeterminismus

Ein nichtdeterministischer Algorithmus $A$ akzeptiert $L$, falls

• für jedes $x\in L$ mindestens eine akzeptierende Berechnung von $A$ auf $x$ existiert
• und für jedes $y\in {\Sigma }^{\ast }-L$ alle Berechnungen nicht akzeptierend sind.

Note: ein NEA ist nicht random, er explored quasi alle Zustände!

Nichtdeterministischer endlicher Automat (3.3)

Die Übergangsfunktion ist nun $\delta :Q\times \Sigma \to \mathcal{P}(Q)$. Es wird also zu einem Set von möglichen Zuständen gemapped (kann auch leer sein).
Eine Konfiguration ist ein Element aus $Q\times {\Sigma }^{\ast }$, $(q_0,x)$ die Startkonfiguration für $x$.
Ein Schritt ist die Relation ${⊢}_M\subseteq (Q\times {\Sigma }^{\ast })\times (Q\times {\Sigma }^{\ast })$ mit

$$(q,w){⊢}_M(p,x)⟺w=ax\text{ fu¨r ein }a\in \Sigma \text{ und }p\in \delta (q,a)$$

Eine Berechnung ist eine endliche Folge $D_1,\dots ,D_k$ mit $D_i{⊢}_M{D}_{i+1}$. Eine Berechnung auf $x$ ist eine Berechnung $C_0,\dots ,C_m$ mit $C_0=(q_0,x)$ und entweder:

• $C_m\in Q\times \{\lambda \}$
• $C_m=(q,ay)$ mit $\delta (q,a)=\varnothing$ → bleibt stecken!
  • selbst wenn $q$ akzeptierend ist, muss fertig gelesen worden sein!

Akzeptierende Zustände

Eine Berechnung ist akzeptierend, wenn $C_m=(p,\lambda )$ für ein $p\in F$.
Existiert eine solche, akzeptiert $M$ das Wort $x$.

Akzeptieren = vollständig lesen

Damit $w\in L(M)$, muss der NEA das Wort fertig gelesen haben → $(\dots ,\lambda )$!
Wenn wir also einen “sink”-state haben und noch $w\ne \lambda$ bleibt, dann ist es nicht akzeptierend, auch wenn der sink state selber $\in F$ ist!

Example: $1011$ mit $q_0\to q_1\to q_2\to q_3$ und dort die $1$ ist nicht akzeptierend.

Extended Transition Function

$\hat{\delta }:Q\times {\Sigma }^{\ast }\to \mathcal{P}(Q)$ ist definiert durch

1. $\hat{\delta }(q,\lambda )=\{q\}$ für jedes $q\in Q$,
   2.für $w\in {\Sigma }^{\ast },a\in \Sigma$ gilt $\hat{\delta }(q,wa)=\{p\in Q\mid \exists r\in \hat{\delta }(q,w)\wedge p\in \delta (r,a)\}={\bigcup }_{r\in \hat{\delta }(q,w)}\delta (r,a)$.

$\hat{\delta }(q_0,w)$ ist die Menge aller aus $q_0$ durch vollständiges Lesen von $w$ erreichbaren Zustände, also $L(M)=\{w\in {\Sigma }^{\ast }\mid \hat{\delta }(q_0,w)\cap F\ne \varnothing \}$.

Beispiel:

Unterschiede:

• $\delta :Q\times \Sigma \to \mathcal{P}(Q)$, mapped also zu einem Set der Zustände, nicht nur mehr einem.
• kann stecken bleiben
  • nicht akzeptierende Berechnung kann enden → bevor die Eingabe vollständig gelesen ist.
    • $\hat{\delta }$ kann $\varnothing$ zurückgeben.

Berechnungsbaum

Der Berechnungsbaum $B_M(x)$ eines NEA $M$ auf $x$ hat Konfigurationen als Knoten, Wurzel $(q_0,x)$, und die Kinder von $(q,\alpha )$ sind alle $(p,\beta )$ mit $(q,\alpha ){⊢}_M(p,\beta )$.
Blätter sind Konfigurationen $(r,\lambda )$ oder $(s,a\beta )$ mit $\delta (s,a)=\varnothing$. Jeder Weg von der Wurzel zu einem Blatt entspricht einer Berechnung von $M$ auf $x$.

Example: Berechnungsbaum, mit ein paar “festgesteckten” und 2 vollständig gelesenen Paths.

Note: Es gelten einige Identitäten

• alle Zustände der gleichen Tiefe in einem solchen Baum haben den selben Suffix noch übrig
  • alle dieser Zustände sind $\hat{\delta }(q_0,z)$ for $z$ the common prefix, $|z|=i$.
  • ein EA hat basically eine “Linie” als Baum
• Wenn Zwei Knoten die gleiche Konfiguration $C$ haben → gleicher Subtree!

3.7 Gilt ${\mathcal{L}}_{EA}={\mathcal{L}}_{NEA}$?

Potenzmengenkonstruktion (3.2)

Zu jedem NEA $M$ existiert ein EA $A$ mit

$$L(M)=L(A)$$

Note: $⟨P⟩$ → single atomic state that represents being in any of $p\in P$.

Example Potenzautomatenumformung

→ Steckenbleiben im NEA wird zu Senke

Konstruktion: Sei $M=(Q,\Sigma ,{\delta }_M,q_0,F)$. Konstruiere $A=(Q_A,{\Sigma }_A,{\delta }_A,q_{0A},F_A)$:

1. $Q_A=\{⟨P⟩\mid P\subseteq Q\}$,
2. ${\Sigma }_A=\Sigma$,
3. $q_{0A}=⟨\{q_0\}⟩$,
4. $F_A=\{⟨P⟩\mid P\subseteq Q\text{ und }P\cap F\ne \varnothing \}$,
   1. intersection because NEA accepts if at least one possible path ends in $F$
5. für jedes $⟨P⟩\in Q_A$ und $a\in {\Sigma }_A$:

$${\delta }_A(⟨P⟩,a)=⟨\bigcup _{p\in P}{\delta }_M(p,a)⟩=⟨\{q\in Q\mid \exists p\in P:q\in {\delta }_M(p,a)\}⟩$$

Proof: Es genügt zu zeigen:

$$\forall x\in {\Sigma }^{\ast }:{\hat{\delta }}_M(q_0,x)=P⟺{\hat{\delta }}_A(q_{0A},x)=⟨P⟩(3.10)$$

Induktion über $|x|$:

• Für $x=\lambda$: ${\hat{\delta }}_M(q_0,\lambda )=\{q_0\}$ und $q_{0A}=⟨\{q_0\}⟩$.
• Für $y=xa$, $|x|=m$:
• Nach Induktionsannahme ist ${\hat{\delta }}_A(q_{0A},x)=⟨{\hat{\delta }}_M(q_0,x)⟩$, also

$${\hat{\delta }}_A(q_{0A},xa)={\delta }_A({\hat{\delta }}_A(q_{0A},x),a)={\delta }_A(⟨{\hat{\delta }}_M(q_0,x)⟩,a)=⟨\bigcup _{p\in {\hat{\delta }}_M(q_0,x)}{\delta }_M(p,a)⟩=⟨{\hat{\delta }}_M(q_0,xa)⟩$$

Note: Nicht aus $q_{0A}$ erreichbare Zustände können entfernt werden, ohne $L(A)$ zu ändern.

Equivalenz

Äquivalenz von Automaten

Zwei Automaten $A$ und $B$ sind äquivalent, falls $L(A)=L(B)$.

Folglich gilt ${\mathcal{L}}_{\text{EA}}={\mathcal{L}}_{\text{NEA}}$; der konstruierte EA ist aber exponentiell größer.

Beispiel: Für $k\in \mathbb{N}-\{0\}$ sei $L_k=\{x1y\mid x\in ({\Sigma }_{\text{bool}}{)}^{\ast },y\in ({\Sigma }_{\text{bool}}{)}^{k-1}\}$

• Der NEA $A_k$ mit $k+1$ Zuständen $q_0,\dots ,q_k$ akzeptiert $L_k$:
  • in $q_0$ (Schleife über $0,1$) wird bei jeder $1$ geraten, ob sie das $k$-te Symbol vor dem Ende ist (Übergang nach $q_1$), danach wird mit $q_1\to q_2\to \cdots \to q_k$ über $0,1$ deterministisch geprüft; $F=\{q_k\}$.

Die Konversion zum EA produziert sehr viel größere Automaten. Wir können meist eine untere Schranke auf die Menge der nötigen Zustände zeigen.

Untere Schranken auf die Größe des EA

Example: Für alle $k\in \mathbb{N}-\{0\}$ hat jeder EA, der $L_k$ akzeptiert, mindestens $2^k$ Zustände.

Proof: Sei $B_k=(Q_k,{\Sigma }_{\text{bool}},{\delta }_k,q_{0k},F_k)$ mit $L(B_k)=L_k$. Aus ${\hat{\delta }}_k(q_{0k},x)={\hat{\delta }}_k(q_{0k},y)$ folgt für alle $z$:

$$xz\in L(B_k)⟺yz\in L(B_k)(3.14)$$

Zeige, dass ${\hat{\delta }}_k(q_{0k},u)$ für alle $u\in S_k=({\Sigma }_{\text{bool}}{)}^k$ paarweise verschieden sind. Indirekt: Seien $x=x_1\dots x_k\ne y=y_1\dots y_k$ mit ${\hat{\delta }}_k(q_{0k},x)={\hat{\delta }}_k(q_{0k},y)$. Es gibt $j$ mit $x_j\ne y_j$, o.B.d.A. $x_j=1$, $y_j=0$. Mit $z=0^{j-1}$ ist

$$xz=x_1\dots x_{j-1}1x_{j+1}\dots x_k{0}^{j-1}\in L_k,yz=y_1\dots y_{j-1}0y_{j+1}\dots y_k{0}^{j-1}\notin L_k$$

Widerspruch zu (3.14). Also $|Q_k|\ge |S_k|=2^k$.

Methode für untere Schranken: Finde eine Menge $S$ von Wörtern:

• so dass es für je zwei verschiedene $x,y\in S$ ein $z$ gibt
  → genau eines von $xz$, $yz$ in $L$ liegt.
• Dann hat jeder EA für $L$ mindestens $|S|$ Zustände
  • ist $S$ unendlich, ist $L$ nicht regulär

Note: um von einem Powerset-EA zu einer Wörtermenge zu kommen

• geh alle States durch (prune those that behave the same)
• finde jeweils ein $z$ für paarweise $x,y$.
  • die $z$ findet man, indem man die States unterteilt
    • accepted → use $\lambda$
    • die accepted/rejected gruppen weiter untereinander trennen

Example: $L=\{x11y\mid x,y\in \{0,1{\}}^{\ast }\}$, $S=\{\lambda ,1,11\}$:

• $x=\lambda$, $y=1$, $z=1$: $xz=1\notin L$, $yz=11\in L$.
• $x=\lambda$, $y=11$, $z=0$: $xz=0\notin L$, $yz=110\in L$.
• $x=1$, $y=11$, $z=\lambda$: $xz=1\notin L$, $yz=11\in L$.
  → Also hat jeder EA für $L$ mindestens 3 Zustände.