5.1 Zasada maksimum Pontriagina, sterowanie czasooptymalne i metoda strzałów

0 Prolog: rakieta, która ma zdążyć

W połowie lat 50. w Moskwie Lew Pontriagin, matematyk, który w wieku 14 lat stracił wzrok, zajął się z kolegami (Bołtianski, Gamkrelidze, Miszczenko) zadaniami, które przynieśli mu inżynierowie lotnictwa: jak sterować, żeby samolot przechwytujący dotarł do celu najszybciej, przy ograniczonym ciągu i wychyleniu sterów? Rachunek wariacyjny z lekcji 6.1 Rachunek wariacyjny zawodził, bo optymalne sterowanie często siedziało na granicy dozwolonego zakresu, a tam warunek „pochodna równa zero” nie obowiązuje.

Wynikiem była zasada maksimum, opublikowana w pełni w 1961 r. w książce „Matematyczna teoria procesów optymalnych” (po angielsku w 1962 r.). W tym samym czasie Richard Bellman w USA rozwijał programowanie dynamiczne. Oba podejścia stały się fundamentem projektowania trajektorii rakiet, samolotów i statków kosmicznych.

Pytanie na start. Dron (bez oporu) może przyspieszać w pionie najwyżej $g$ w górę i $g$ w dół. Jak najszybciej wznieść się o 5 m i zatrzymać? Ile to trwa? Odpowiedź w części 4.

1 Ogólne zadanie sterowania optymalnego

Dany jest obiekt (dowolnie nieliniowy) i kryterium:Tewari 2.4

\dot{\mathbf x} = f(\mathbf x, \mathbf u, t),\qquad J = \varphi\big(\mathbf x(t_f)\big) + \int_0^{t_f} L(\mathbf x, \mathbf u, t)\,\mathrm dt,\qquad \mathbf u(t) \in \mathcal U .

$L$ to koszt bieżący (Tewari nazywa go lagranżjanem), $\varphi$ to koszt końcowy, $\mathcal U$ to dopuszczalne sterowania, np. $|u| \le U$ . Do tego warunki brzegowe: znany stan początkowy i (czasem) zadany stan końcowy. Przykłady:

LQR: $L = \frac12(\mathbf x^TQ\mathbf x + \mathbf u^TR\mathbf u)$ , $t_f = \infty$ , bez ograniczeń;
czas minimalny: $L = 1$ (koszt to po prostu $t_f$ ), $|u| \le U$ , zadany stan końcowy;
minimalne zużycie paliwa: $L = |u|$ (ciąg rakiety), zadany stan końcowy.

Zadania · część 1

2 zadania · ok. 10 min

Zapisz $f$ , $L$ , $\mathcal U$ i warunki brzegowe dla zadania z prologu.

Odpowiedź
$\mathbf x = [x, v]$ , $f = [v, u]$ , $L = 1$ , $|u| \le g$ ; $\mathbf x(0) = [0, 0]$ , $\mathbf x(t_f) = [5, 0]$ , $t_f$ wolne (minimalizowane).
Dlaczego w zadaniu minimalnego zużycia paliwa koszt to $|u|$ , a nie $u^2$ ?

Odpowiedź
Zużycie paliwa rakiety jest proporcjonalne do ciągu (wydatek masowy $\dot m = T/v_e$ ), a nie do jego kwadratu. Koszt $u^2$ (energia) prowadzi do gładkich sterowań, koszt $|u|$ do sterowań typu „pełny ciąg albo nic”.

2 Hamiltonian i zasada minimum

Jak w rachunku wariacyjnym z więzami, dołączamy równanie ruchu do kryterium mnożnikami Lagrange’a $\boldsymbol\lambda(t)$ , które tu nazywają się kostanem (ang. co-state). Kluczowy obiekt to hamiltonian:Tewari 2.5

H(\mathbf x, \mathbf u, \boldsymbol\lambda, t) = L(\mathbf x, \mathbf u, t) + \boldsymbol\lambda^T f(\mathbf x, \mathbf u, t) .

Zasada minimum Pontriagina (warunki konieczne)

Optymalne $\mathbf x^*$ , $\mathbf u^*$ i kostan $\boldsymbol\lambda^*$ spełniają:

\dot{\mathbf x} = \frac{\partial H}{\partial\boldsymbol\lambda} = f,\qquad \dot{\boldsymbol\lambda} = -\frac{\partial H}{\partial\mathbf x},\qquad \mathbf u^*(t) = \arg\min_{\mathbf u \in \mathcal U} H(\mathbf x^*, \mathbf u, \boldsymbol\lambda^*, t),

z warunkami brzegowymi: $\mathbf x(0)$ dane; dla wolnego stanu końcowego $\boldsymbol\lambda(t_f) = \partial\varphi/\partial\mathbf x$ (warunek transwersalności); dla wolnego $t_f$ i $H$ niezależnego od czasu: $H \equiv 0$ wzdłuż trajektorii.

Kostan ma interpretację: $\lambda_i$ mówi, o ile wzrośnie optymalny koszt, gdy w danej chwili zwiększymy $x_i$ o jednostkę (wrażliwość kosztu na stan). Gdy $\mathcal U$ nie ogranicza, minimum $H$ to $\partial H/\partial\mathbf u = 0$ i dostajemy równania Eulera–Lagrange’a z lekcji math 6.1. Gdy ogranicza, minimum może leżeć na brzegu $\mathcal U$ , i to jest nowość Pontriagina.

Zadania · część 2

3 zadania · ok. 25 min

Napisz $H$ i równania kostanu dla $\dot x = v$ , $\dot v = u$ , $L = \frac12u^2$ .

Odpowiedź
$H = \frac12u^2 + \lambda_1v + \lambda_2u$ . $\dot\lambda_1 = -\partial H/\partial x = 0$ , $\dot\lambda_2 = -\partial H/\partial v = -\lambda_1$ . Minimum: $u = -\lambda_2$ .
W zadaniu 2.1 kostan $\lambda_1$ jest stały, a $\lambda_2$ liniowy w czasie. Jakiego kształtu jest więc optymalne $u(t)$ i $x(t)$ ?

Odpowiedź
$u = -\lambda_2(t)$ jest liniowe w $t$ , więc $v$ jest kwadratowe, a $x$ sześcienne. Przejście z (0, 0) do (5 m, 0) w 3 s: $x = 5(3s^2 - 2s^3)$ , $s = t/3$ , $u = \frac{30}{9}(1 - 2s)$ : od 3,33 do −3,33 m/s².
Pokaż, że dla $H$ niezależnego jawnie od czasu $H$ jest stałe wzdłuż optymalnej trajektorii (bez ograniczeń sterowania).

Odpowiedź
$\dot H = H_{\mathbf x}\dot{\mathbf x} + H_{\boldsymbol\lambda}\dot{\boldsymbol\lambda} + H_{\mathbf u}\dot{\mathbf u} = H_{\mathbf x}f + f^T(-H_{\mathbf x}^T) + 0 = 0$ . To odpowiednik zasady zachowania energii w mechanice Hamiltona.

3 LQR jako przypadek szczególny

Dla $f = A\mathbf x + B\mathbf u$ , $L = \frac12(\mathbf x^TQ\mathbf x + \mathbf u^TR\mathbf u)$ :

H = \tfrac12\mathbf x^TQ\mathbf x + \tfrac12\mathbf u^TR\mathbf u + \boldsymbol\lambda^T(A\mathbf x + B\mathbf u),\qquad \frac{\partial H}{\partial\mathbf u} = R\mathbf u + B^T\boldsymbol\lambda = 0\ \Rightarrow\ \mathbf u = -R^{-1}B^T\boldsymbol\lambda,

\dot{\boldsymbol\lambda} = -Q\mathbf x - A^T\boldsymbol\lambda .

Zgadujemy, że kostan jest liniowy w stanie: $\boldsymbol\lambda = P(t)\mathbf x$ . Podstawiając do obu równań i żądając, żeby wynik zachodził dla każdego $\mathbf x$ , dostajemy różniczkowe równanie Riccatiego

-\dot P = A^TP + PA - PBR^{-1}B^TP + Q,

a dla $t_f \to \infty$ jego stan ustalony, czyli algebraiczne równanie Riccatiego z lekcji 4.3 LQR: koszt zamiast biegunów. Szkic z tamtej lekcji (przez funkcję wartości $V = \mathbf x^TP\mathbf x$ ) i ten (przez kostan) dają ten sam wynik: kostan to gradient funkcji wartości, $\boldsymbol\lambda = \nabla V$ (w skali $\frac12$ ).

Zadania · część 3

2 zadania · ok. 20 min

Wyprowadź różniczkowe równanie Riccatiego z $\boldsymbol\lambda = P\mathbf x$ .

Odpowiedź
$\dot{\boldsymbol\lambda} = \dot P\mathbf x + P\dot{\mathbf x} = \dot P\mathbf x + P(A - BR^{-1}B^TP)\mathbf x$ . Z drugiej strony $\dot{\boldsymbol\lambda} = -Q\mathbf x - A^TP\mathbf x$ . Porównując: $\dot P + PA - PBR^{-1}B^TP + Q + A^TP = 0$ .
Dla skończonego horyzontu bez kosztu końcowego jaki jest warunek końcowy dla $P$ ? Co z tego wynika dla wzmocnienia pod koniec?

Odpowiedź
Stan końcowy wolny, $\varphi = 0$ : $\boldsymbol\lambda(t_f) = 0$ , więc $P(t_f) = 0$ . Wzmocnienie $K = R^{-1}B^TP$ spada do zera pod koniec: regulator „odpuszcza”, bo po $t_f$ nic się nie liczy. Daleko od końca $P$ jest bliskie rozwiązaniu algebraicznemu.

4 Sterowanie czasooptymalne: bang-bang

Podwójny integrator $\dot x = v$ , $\dot v = u$ , $|u| \le U$ , koszt $L = 1$ . Hamiltonian:

H = 1 + \lambda_1v + \lambda_2u,\qquad \dot\lambda_1 = 0,\quad \dot\lambda_2 = -\lambda_1 .

$H$ jest liniowy w $u$ , więc minimum leży na brzegu: $u^* = -U\operatorname{sign}\lambda_2$ . Sterowanie zawsze pełne, tylko kierunek się zmienia: bang-bang. A ponieważ $\lambda_2(t)$ jest liniowe, zmienia znak najwyżej raz: co najwyżej jedno przełączenie. Ostatni odcinek musi trafić w cel pełnym hamowaniem, więc przełączenie następuje na krzywej przełączeń

x = -\frac{v|v|}{2U} .

Powyżej krzywej sterujemy $-U$ , poniżej $+U$ , a na niej przełączamy. To regulator w postaci sprzężenia od stanu, tyle że nieliniowego: $u = -U\operatorname{sign}\left(x + \frac{v|v|}{2U}\right)$ .

Odpowiedź na pytanie z prologu. Start w spoczynku, cel 5 m wyżej, też w spoczynku, $U = g$ . Z symetrii: połowę czasu pełnym ciągiem w górę, połowę w dół. Każda połowa pokonuje 2,5 m: $\frac12gt_1^2 = 2{,}5$ , $t_1 = 0{,}714$ s. Razem $T^* = 2\sqrt{h/U} = 1{,}43$ s, prędkość maksymalna 7,0 m/s. Dla porównania gładka trajektoria z lekcji 3.3 trwała 3 s przy przyspieszeniu do 3,2 m/s².

Zadania · część 4

3 zadania · ok. 25 min

Ile trwa czasooptymalne wzniesienie o 20 m (spoczynek–spoczynek) przy $U = g$ ? Jaka prędkość maksymalna?

Odpowiedź
$T^* = 2\sqrt{20/9{,}81} = 2{,}86$ s; $v_\text{max} = g\cdot 1{,}43 = 14{,}0$ m/s. Czterokrotna wysokość, dwukrotny czas.
Wyprowadź krzywą przełączeń: z jakich stanów hamowanie pełną siłą $\pm U$ kończy się dokładnie w zerze?

Odpowiedź
Ze stałym $u = -U\operatorname{sign}v$ ruch spełnia $v^2 = 2U|x|$ i musi zmierzać do zera: dla $v > 0$ jest $x < 0$ i $x = -v^2/(2U)$ , dla $v < 0$ jest $x = v^2/(2U)$ . Razem: $x = -v|v|/(2U)$ .
Dlaczego regulator bang-bang z krzywej przełączeń jest w praktyce zawodny i czym się go zastępuje?

Odpowiedź
W idealnym modelu przełącza się raz i trafia. Przy błędach modelu, szumie i próbkowaniu wokół celu przełącza się bardzo często (jak sterowanie ślizgowe z lekcji 4.6), jest wrażliwy na błąd modelu $U$ i na szum. W praktyce stosuje się go daleko od celu, a w pobliżu przełącza na regulator liniowy (tzw. sterowanie dwufazowe), albo „zaokrągla” krzywą (np. regulator PTOS).

5 Zadanie brzegowe i metoda strzałów

Zasada minimum zamienia zadanie optymalizacji w układ równań różniczkowych na $\mathbf x$ i $\boldsymbol\lambda$ . Haczyk: warunki brzegowe są rozdzielone. $\mathbf x$ znamy na początku, a dla $\boldsymbol\lambda$ (albo części $\mathbf x$ ) warunki są na końcu. To dwupunktowe zadanie brzegowe (ang. two-point boundary value problem), znacznie trudniejsze od zwykłego całkowania.Tewari 2.7

Najprostsza metoda numeryczna to metoda strzałów:

zgadnij brakujące wartości początkowe $\boldsymbol\lambda(0)$ ;
scałkuj równania stanu i kostanu do $t_f$ (np. RK4, lekcja 6.2 Metody numeryczne: Python i C++);
zmierz chybienie: różnicę między $\mathbf x(t_f)$ a celem;
popraw $\boldsymbol\lambda(0)$ metodą Newtona (jakobian chybienia względem $\boldsymbol\lambda(0)$ z różnic skończonych) i wróć do 2.

Dla problemów liniowych (bez oporu) chybienie jest liniową funkcją $\boldsymbol\lambda(0)$ i wystarcza jeden krok Newtona. Z oporem kwadratowym ( $\dot v = u - cv|v|$ ) potrzeba kilku kroków. Przy większym oporze ( $c \gtrsim 0{,}3$ 1/m w naszym zadaniu) już pierwszy krok Newtona, z zera albo z rozwiązania bez oporu, prowadzi do trajektorii, które eksplodują przed $t_f$ : równania kostanu są niestabilne w przód. Tewari pisze wprost, że proste strzały mają kłopoty ze zbieżnością. Ratunkiem są kontynuacja (rozwiązuj kolejno dla rosnącego $c$ ), strzały wielokrotne (przedział dzielony na kawałki) i metody kolokacyjne.

Zadania · część 5

3 zadania · ok. 25 min

Dla $c = 0$ i celu (5 m, 0) w 3 s wyznacz $\lambda_1$ i $\lambda_2(0)$ z rozwiązania analitycznego zadania 2.2.

Odpowiedź
$u(t) = -\lambda_2(0) + \lambda_1t = \frac{30}{9} - \frac{60}{27}t$ : $\lambda_2(0) = -3{,}333$ , $\lambda_1 = -2{,}222$ . Koszt $J = 6h^2/T^3 = 5{,}56$ (m²/s³).
Wyprowadź równania kostanu dla $\dot v = u - cv|v|$ i $L = \frac12u^2$ .

Odpowiedź
$H = \frac12u^2 + \lambda_1v + \lambda_2(u - cv|v|)$ ; $\partial(v|v|)/\partial v = 2|v|$ . $\dot\lambda_1 = 0$ , $\dot\lambda_2 = -\lambda_1 + 2c|v|\lambda_2$ , $u = -\lambda_2$ .
Dlaczego człon $2c|v|\lambda_2$ w równaniu kostanu może prowadzić do eksplozji przy całkowaniu w przód?

Odpowiedź
To człon wzrostu wykładniczego z szybkością $2c|v|$ . Jeśli zgadnięte $\lambda_2$ jest za duże co do modułu, sterowanie $u = -\lambda_2$ rozpędza drona, $|v|$ rośnie, a to przyspiesza wzrost $|\lambda_2|$ . Sprzężenie dodatnie kończy się wybuchem w skończonym czasie. Typowe dla kostanów: są „stabilne wstecz”, a niestabilne w przód.

6 Przewodnik po rozdziale 2 Tewariego

Celem części V jest swobodne czytanie podręcznika A. Tewari, Advanced Control of Aircraft, Spacecraft and Rockets. Jego rozdział 2 („Optimal Control Techniques”) streszcza w 70 stronach to, co budowaliśmy przez cały kurs. Mapa:

Tewari	temat	u nas
2.2–2.3	optymalizacja wielu zmiennych, mnożniki Lagrange’a, ograniczenia nierównościowe	math 3.1 (ekstrema, mnożniki Lagrange’a), math 6.1 (wariacje)
2.4	sterowanie optymalne układu dynamicznego, warunki optymalności	ta lekcja, część 1–2
2.5	hamiltonian, zasada minimum, równanie HJB, LQ ze zmiennymi w czasie	części 2–3; lekcja 4.3
2.6	więzy na stan końcowy, równania Eulera–Lagrange’a	części 4–5
2.7	numeryka zadań brzegowych: strzały, kolokacja	część 5
2.10–2.11	procesy stochastyczne, filtr Kalmana	lekcje 4.4–4.5
2.12	odporne sterowanie LTI: LQG/LTR, H₂/H∞	lekcja 5.2 LQG i odporność

Różnice w zapisie: Tewari pisze $L$ dla kosztu bieżącego i $\varphi$ dla końcowego, jak my; używa $\boldsymbol\lambda$ dla kostanu; zapisuje kod w MATLAB-ie (odpowiedniki w Pythonie w lekcji 4.3). Rozdział 3 (samolot), 4–5 (rakiety: naprowadzanie i orientacja) i 6–7 (statki kosmiczne) to kontynuacja w kursach dynamiki lotu i astronautyki.

7 Metoda i przykłady rozwiązane

Metoda: zadanie optymalne przez zasadę minimum

Sformułuj $f$ , $L$ , $\varphi$ , $\mathcal U$ , warunki brzegowe, czy $t_f$ jest wolne.
Hamiltonian $H = L + \boldsymbol\lambda^Tf$ ; równania kostanu $\dot{\boldsymbol\lambda} = -H_{\mathbf x}$ .
Minimalizuj $H$ po $\mathbf u$ : wnętrze ( $H_{\mathbf u} = 0$ ) albo brzeg $\mathcal U$ (bang-bang).
Warunki brzegowe dla $\boldsymbol\lambda$ (transwersalność, $H = 0$ przy wolnym $t_f$ ).
Rozwiąż zadanie brzegowe: analitycznie w prostych przypadkach, numerycznie strzałami lub kolokacją; sprawdź, czy wynik jest minimum (porównaj z innymi trajektoriami).

Przykład 7.1 Najszybciej o 5 m w górę

$\ddot x = u$ , $|u| \le 9{,}81$ m/s², z (0, 0) do (5, 0). Wyznacz sterowanie i czas.

$H = 1 + \lambda_1v + \lambda_2u$ , $u = -U\operatorname{sign}\lambda_2$ , $\lambda_2$ liniowe: jedno przełączenie.
Start poniżej krzywej przełączeń ( $x - 5 < 0$ względem celu): najpierw $+U$ .
Symetria: przełączenie w $t_1 = \sqrt{h/U} = 0{,}714$ s na wysokości 2,5 m przy $v = 7{,}0$ m/s.

Wynik: $T^* = 1{,}428$ s; $u = +g$ do 0,714 s, potem $-g$ .

Sprawdzenie: $H$ ma być równe zero (wolne $t_f$ ): $\lambda_1$ , $\lambda_2$ dobrane tak, że $1 + \lambda_1v + \lambda_2u = 0$ w każdej chwili ✓ (zadanie do przemyślenia 1); symulacja 1 daje ten sam czas ✓.

Przykład 7.2 Strzały z kontynuacją

Minimalna energia ½∫u², 0 → 5 m w 3 s, opór $c = 0{,}2$ 1/m. Znajdź $\boldsymbol\lambda(0)$ .

$c = 0$ : $\boldsymbol\lambda(0) = (-2{,}222;\ -3{,}333)$ (analitycznie).
$c = 0{,}1$ startując stąd: 3 kroki Newtona (chybienie 0,94 → 0,013 → 2·10⁻⁶ → 10⁻¹²), $\boldsymbol\lambda(0) = (-2{,}411;\ -3{,}404)$ .
$c = 0{,}2$ startując z $c = 0{,}1$ : 5 kroków, $\boldsymbol\lambda(0) = (-2{,}953;\ -3{,}600)$ .
$c = 0{,}3$ bezpośrednio: trajektorie eksplodują już przy pierwszym zgadnięciu; potrzebne mniejsze kroki kontynuacji albo strzały wielokrotne.

Wynik: przy oporze sterowanie startuje mocniej ( $u(0) = 3{,}60$ zamiast 3,33 m/s²), żeby zrekompensować opór.

Sprawdzenie: zbieżność kwadratowa Newtona (liczba poprawnych cyfr podwaja się w każdym kroku) ✓.

8 Błędne intuicje, których trzeba się oduczyć

„Optymalne sterowanie jest gładkie.”: Przy kosztach liniowych w $u$ (czas, paliwo) optimum leży na granicach: bang-bang.
„Zasada minimum daje rozwiązanie.”: Daje warunki konieczne i zadanie brzegowe. Rozwiązać je trzeba osobno, często numerycznie, i nie zawsze się udaje.
„Kostan to sztuczka matematyczna bez znaczenia.”: Kostan to wrażliwość optymalnego kosztu na stan: cena cienia. W LQR $\boldsymbol\lambda = P\mathbf x$ .
„Metoda strzałów zawsze zbiega, jeśli zadanie ma rozwiązanie.”: Nie: kostan bywa niestabilny w przód, a zgadnięcie musi być bliskie. Kontynuacja i strzały wielokrotne to standard.
„Sterowanie optymalne zastępuje sprzężenie zwrotne.”: Trajektorię optymalną liczy się zwykle z góry (w pętli otwartej), a regulator ze sprzężeniem prowadzi obiekt wzdłuż niej (Tewari 2.9).

9 Zadania do przemyślenia

Te zadania wymagają więcej myślenia niż liczenia.

Zadania do przemyślenia

5 zadań · ok. 1,5 godziny

Kostan w zadaniu czasooptymalnym. Dla przykładu 7.1 wyznacz $\lambda_1$ i $\lambda_2(t)$ z warunków $H = 0$ i przełączenia w $t_1 = 0{,}714$ s.
Rozwiązanie
1. $\lambda_2 = \lambda_2(0) - \lambda_1t$ ma zero w $t_1$ : $\lambda_2(0) = \lambda_1t_1$ . W $t = 0$ : $v = 0$ , $u = U$ , $H = 1 + \lambda_2(0)U = 0$ , więc $\lambda_2(0) = -1/U = -0{,}102$ .
2. $\lambda_1 = \lambda_2(0)/t_1 = -0{,}143$ . Sprawdzenie w $t_1$ : $H = 1 + \lambda_1v_\text{max} + 0 = 1 - 0{,}143\cdot 7{,}0 = 0$ ✓.
Minimalne paliwo. $\ddot x = u$ , $|u| \le U$ , $L = |u|$ , zadany czas $T$ dłuższy od minimalnego. Jak wygląda sterowanie?
Rozwiązanie
1. $H = |u| + \lambda_1v + \lambda_2u$ . Minimum: $u = -U\operatorname{sign}\lambda_2$ , gdy $|\lambda_2| > 1$ ; $u = 0$ , gdy $|\lambda_2| < 1$ .
2. Wynik: pełny ciąg, swobodny lot (bez ciągu), pełne hamowanie (ang. bang-off-bang). Tak wyglądają manewry orbitalne: krótkie impulsy i długie fazy lotu bez napędu (Hohmann w kursie astronautyki).
Goddard. Rakieta pionowa w atmosferze: jak rozłożyć paliwo, żeby osiągnąć maksymalną wysokość? Dlaczego intuicja „pełny ciąg od startu” może być zła?
Rozwiązanie
1. Pełny ciąg przy gęstym powietrzu daje dużą prędkość i ogromny opór (rosnący z $v^2$ ), czyli straty energii. Opłaca się czasem lecieć wolniej w gęstej atmosferze.
2. Rozwiązanie optymalne zawiera łuk osobliwy (ang. singular arc): pośredni ciąg utrzymujący „optymalną” prędkość, gdy $H$ nie zależy od $u$ (Tewari 2.8.1). To klasyczny problem Goddarda z 1919 r.
Bellman kontra Pontriagin. Programowanie dynamiczne daje funkcję wartości $V(\mathbf x, t)$ dla każdego stanu, zasada minimum tylko jedną trajektorię. Co jest praktyczniejsze dla drona o 12 stanach?
Rozwiązanie
1. Programowanie dynamiczne daje gotowe sprzężenie zwrotne $u(\mathbf x)$ , ale wymaga funkcji na przestrzeni 12-wymiarowej: siatka 10 punktów na wymiar to $10^{12}$ węzłów (przekleństwo wymiarowości).
2. Zasada minimum i metody bezpośrednie liczą jedną trajektorię, tanio, a sprzężenie zwrotne wokół niej daje LQR (linearyzacja wzdłuż trajektorii). Tak robi się to w praktyce, także w MPC (sterowaniu predykcyjnym).
Czas wolny i warunek H = 0. Dlaczego przy wolnym czasie końcowym (i $H$ niezależnym od czasu) $H$ musi być zerem, a nie dowolną stałą?
Rozwiązanie
1. Wydłużenie czasu o $\delta t_f$ zmienia koszt o $H(t_f)\,\delta t_f$ (o tyle, ile kosztuje bieżąca chwila plus efekt przesunięcia końca). W optimum ta zmiana musi być zerowa dla dowolnego $\delta t_f$ .
2. Stąd $H(t_f) = 0$ , a ponieważ $H$ jest stałe wzdłuż trajektorii (zadanie 2.3), $H \equiv 0$ .

10 Sprawdź się

Odpowiedz w myślach, zanim rozwiniesz odpowiedź.

1 Jak wygląda hamiltonian?

$H = L + \boldsymbol\lambda^Tf$ .

2 Jakie równanie spełnia kostan?

$\dot{\boldsymbol\lambda} = -\partial H/\partial\mathbf x$ .

3 Co mówi zasada minimum o sterowaniu?

W każdej chwili $\mathbf u^*$ minimalizuje $H$ po dopuszczalnych sterowaniach.

4 Skąd LQR w tym języku?

$H_{\mathbf u} = 0$ daje $\mathbf u = -R^{-1}B^T\boldsymbol\lambda$ , a $\boldsymbol\lambda = P\mathbf x$ daje równanie Riccatiego.

5 Dlaczego sterowanie czasooptymalne jest bang-bang?

$H$ jest liniowy w $u$ , więc minimum leży na brzegu $|u| = U$ .

6 Ile przełączeń ma czasooptymalny podwójny integrator?

Najwyżej jedno, bo $\lambda_2(t)$ jest liniowe.

7 Na czym polega metoda strzałów?

Zgadnij $\boldsymbol\lambda(0)$ , scałkuj, zmierz chybienie celu, popraw Newtonem.

11 Karta wzorów i co dalej

Zasada minimum

$J = \varphi(\mathbf x(t_f)) + \int_0^{t_f}L\,\mathrm dt$ , $\;H = L + \boldsymbol\lambda^Tf$

$\dot{\mathbf x} = H_{\boldsymbol\lambda}$ , $\;\dot{\boldsymbol\lambda} = -H_{\mathbf x}$ , $\;\mathbf u^* = \arg\min_{\mathcal U}H$

$\boldsymbol\lambda(t_f) = \varphi_{\mathbf x}$ (stan końcowy wolny); $H \equiv 0$ ( $t_f$ wolne)

LQR: $\boldsymbol\lambda = P\mathbf x$ , $-\dot P = A^TP + PA - PBR^{-1}B^TP + Q$

Bang-bang i strzały

$\ddot x = u$ , $|u| \le U$ : $u = -U\operatorname{sign}\!\left(x + \frac{v|v|}{2U}\right)$

spoczynek–spoczynek: $T^* = 2\sqrt{h/U}$

min. energia: $x = h(3s^2 - 2s^3)$ , $J = 6h^2/T^3$

strzały: $\boldsymbol\lambda_0 \leftarrow \boldsymbol\lambda_0 - J_F^{-1}F(\boldsymbol\lambda_0)$

Do przeczytania

Obowiązkowo: A. Tewari, Advanced Control of Aircraft, Spacecraft and Rockets, rozdz. 2.4–2.7 (teraz da się je czytać bez zatrzymywania).
Dla chętnych: D. E. Kirk, Optimal Control Theory: An Introduction (Dover), bardzo przystępny; A. E. Bryson, Y.-C. Ho, Applied Optimal Control, klasyka z przykładami lotniczymi.

Zostało jedno pytanie, które wisi nad całą częścią IV: LQR ma gwarantowany zapas fazy 60°, filtr Kalmana jest optymalny. Czy ich połączenie, regulator LQG, jest odporny na błędy modelu? Odpowiedź z 1978 r. zaskoczyła wszystkich i zmieniła kierunek rozwoju automatyki. To temat ostatniej lekcji.