Lyapunov Stabilität zeitdiskreter Systeme
Die Lyapunov Theorie ist zentral für die Analyse nichtlineare Systeme. Aber auch in der linearen Theorie ist diese extrem wertvoll und spielt dort eine zentrale Rolle in der Kontrolltheorie, in der dynamische Programmierung und im bestärkenden Lernen.
In der Kontrolltheorie können die gramschen Matrizen der Erreichbarkeit (Controllability Gramian) und der Beobachtbarkeit (Observability Gramian) durch Lyapunov Gleichungen errechnet werden. Mit Hilfe der gramschen Matrizen ist das Berechnen der \(H_2\)-Norm eines Systems möglich.
Die Bellmangleichung der Wertefunktion (Value-function) im Falle des zeitdiskreten LQR-Problems, nimmt die Form der zeitdiskreten Lyapunov Gleichung
\[ A^TPA-P+Q=0 \]
an. Auch im nichtlinearen Fall können Wertefunktionen (Value-funtions) Lyapunovfunktionen sein. Das hängt jedoch von der Wahl der Kostenfunktion ab.
Deshalb wollen wir die Lyapunov Stabilität skizzenhaft besprechen, ohne alle Bedinungen formal einzuführen.
Nichtlinearer zeitinvarinater Fall
Sei \(x=0\) eine Ruhelage für das autonome System
\[ x_{k+1} = f(x_{k}) \]
wobei \(f:D\rightarrow R\) lokal Lipschitz ist in \(D \subset \mathbb{R}^n\) und \(0 \in D\). Angenommen es gibt eine Funktion \(V:D\rightarrow R\), die stetig ist und für die gilt
\[ V(0) = 0 \text{ und } V(x_k)>0, \forall x_k \in D - {0} \\ V(f(x_k)) - V(x_k) \leq 0, \forall x_k \in D. \]
Dann ist \(x=0\) stabil. Wenn außerdem
\[ V(f(x_k))-V(x_k) < 0, \forall x_k \in D-{0} \]
gilt, dann ist \(x=0\) asymptotisch stabil
Linearer zeitinvarianter Fall
Gegeben sei ein lineares zeitinvariantes autonomes System
\[ x_{k+1} = A x_{k}, \, A \in \mathbb{R}^{n \times n}. \]
Es besitzt eine Ruhelagen im Ursprung \(x=0\). Die Lösung des linearen Systems mit dem Anfangswerte \(x_0 \in \mathbb{R}^{n}\) hat die Form
\[ x_{k} = A^k x_0. \]
Die Ruhelage \(x=0\) eines linearen zeitinvarianten System
\[ x_{k+1} = A x_{k}, \, A \in \mathbb{R}^{n \times n} \]
ist stabil, wenn und nur wenn alle Eigenwerte von \(A\) die Bedingung \(|\lambda_i|\leq 1\) und die algebraische und geometrisch Vielfachheit der Eigenwerte den Wert 1 entspricht. Die Ruhelage ist global asymptotisch stabil wenn und nur wenn alle Eigenwerte der Matrix \(A\) die Bedingung \(|\lambda_i| < 1\) erfüllen.
Eine Matrix \(A\), deren Eigenwerte absolut kleiner sind als 1, wird als Schur Matrix bezeichnet. Der Ursprung ist nur dann asymptotisch stabil wenn und nur wenn die Matrix \(A\) eine Schur Matrix ist.
Für die Analyse der Stabilität kann wie im nichtlinearen Fall auf die Lyapunov Theorie für lineare Systeme zurückgegeriffen werden. Gegeben sei eine Kandidaten-Funktion der Form
\[ V(x_k) = x_k^TPx_k \]
mit einer symmetrischen positive definiten Matrix \(P\). Eingesetzt in die totalen Differenz
\[ V(f(x_k))-V(x_k) = x_k^TA^TPAx_k-x_k^TPx_k=x_k^T(A^TPA-P)x_k=-x_k^TQx_k. \]
ergibt sich die Lyapunov Gleichung für lineare zeitdiskrete Systeme
\[ A^TPA-P+Q=0. \]
Kann diese Gleichung für eine positive semidefinite Matrix \(Q\) gelöst werden so ist der Ursprung stabil. Für eine positive definite Matrix \(Q\) ist der Ursprung asymptotisch stabil.
Definitheit von Matrizen
Eine beliebige \(n \times n\)-Matrix ist
- positiv definit, falls \(x^TPx > 0\)
- positiv semidefinit, falls \(x^TPx \geq 0\)
- negativ definit, falls \(x^TPx < 0\)
- negativ semidefinit, falls \(x^TPx \leq 0\)
für alle \(n\)-zeiligen Spaltenvektoren \(x\in V\) mit \(x \neq 0\), wobei \(x^T\) der Zeilenvektor ist, der aus dem Spaltenvektor \(x\) durch Transponieren hervorgeht.
Kriterien für Definitheit
Die Definitheit einer quadratischen symmetrischen Matrix kann durch die Eigenwerte überprüft werden.
Eine quadratische symmetrische Matrix ist genau dann
- positiv definit, wenn alle Eigenwerte größer null sind (\(\lambda > 0\));
- positiv semidefinit, wenn alle Eigenwerte größer oder gleich null sind (\(\lambda \geq 0\));
- negativ definit, wenn alle Eigenwerte kleiner null sind (\(\lambda < 0\));
- negativ definit, wenn alle Eigenwerte kleiner oder gleich null sind (\(\lambda \leq 0\)).
- indefinit, wenn positive und negative Eigenwerte existieren.
Es gibt einige weitere Methoden um die Definitheit von Matrizen zu überprüfen oder zumindest abzuschätzen. Zum Beispiel ist eine symmetrische Matrix \(P\) genau dann positiv definit, wenn es eine Cholesky-Zerlegung \(P=GG^T\) gibt, wobei \(G\) eine reguläre untere Dreiecksmatrix ist.