庞特里亚金最大化原理 (Pontryagin's maximum principle)也根据使用条件稱為庞特里亚金最小化原理 或最大值原理 及最小值原理 ,是最优控制 中的理論,是在狀態或是輸入控制項有限制條件的情形下,可以找到將动力系统 由一個狀態到另一個狀態的最優控制信號。此理論是蘇俄數學家列夫·庞特里亚金 及他的學生在1956年提出的[ 1] 。這是变分法 中歐拉-拉格朗日方程 的特例。
簡單來說,此定理是指在所有可能的控制中,需讓「控制哈密頓量」(control Hamiltonian)取極值,極值是最大值或是最小值則依問題以及哈密頓量的符號定義而不同。正式的用法,也就是哈密頓量 中所使用的符號,會取到最大值,但是此條目中使用的符號定義方式,會讓極值取到最小值。
若
U
{\displaystyle {\mathcal {U}}}
是所有可能控制值的集合,則此原理指出,最優控制
u
∗
{\displaystyle u^{*}}
必須滿足以下條件:
H
(
x
∗
(
t
)
,
u
∗
(
t
)
,
λ
∗
(
t
)
,
t
)
≤
H
(
x
∗
(
t
)
,
u
,
λ
∗
(
t
)
,
t
)
,
∀
u
∈
U
,
t
∈
[
t
0
,
t
f
]
{\displaystyle H(x^{*}(t),u^{*}(t),\lambda ^{*}(t),t)\leq H(x^{*}(t),u,\lambda ^{*}(t),t),\quad \forall u\in {\mathcal {U}},\quad t\in [t_{0},t_{f}]}
其中
x
∗
∈
C
1
[
t
0
,
t
f
]
{\displaystyle x^{*}\in C^{1}[t_{0},t_{f}]}
是最佳狀態軌跡,而
λ
∗
∈
B
V
[
t
0
,
t
f
]
{\displaystyle \lambda ^{*}\in BV[t_{0},t_{f}]}
是最佳 協態 軌跡[ 2]
此結果最早成功的應用在輸入控制有限制條件的最小時間問題中,不過也可以用在狀態有限制條件的問題中。
也可以推導控制哈密頓量的特殊條件。若最終時間
t
f
{\displaystyle t_{f}}
固定,且控制哈密頓量不是時間的顯函數
(
∂
H
∂
t
≡
0
)
{\displaystyle \left({\tfrac {\partial H}{\partial t}}\equiv 0\right)}
,則:
H
(
x
∗
(
t
)
,
u
∗
(
t
)
,
λ
∗
(
t
)
)
≡
c
o
n
s
t
a
n
t
{\displaystyle H(x^{*}(t),u^{*}(t),\lambda ^{*}(t))\equiv \mathrm {constant} \,}
若最終時間沒有限制,則:
H
(
x
∗
(
t
)
,
u
∗
(
t
)
,
λ
∗
(
t
)
)
≡
0.
{\displaystyle H(x^{*}(t),u^{*}(t),\lambda ^{*}(t))\equiv 0.\,}
若在某一軌跡上滿足庞特里亚金最大化原理,此原理是最佳解的必要条件 。哈密顿-雅可比-贝尔曼方程 提供了最佳解的充份必要條件 ,但該條件須在整個狀態空間中都要成立。
此定理一開始的名稱是庞特里亚金最大化原理(Pontryagin's maximum principle),其證明也是以控制哈密頓量最大化為基礎。此原理最早的應用是要最大化火箭的終端速度。不過後來此定理大部份的應用是使性能指標最小化,因此常稱為庞特里亚金最小化原理。庞特里亚金的書解出了要讓性能指標最小化的問題[ 3]
以下的內容會使用這些表示方式
Ψ
T
(
x
(
T
)
)
=
∂
Ψ
(
x
)
∂
T
|
x
=
x
(
T
)
{\displaystyle \Psi _{T}(x(T))={\frac {\partial \Psi (x)}{\partial T}}|_{x=x(T)}\,}
Ψ
x
(
x
(
T
)
)
=
[
∂
Ψ
(
x
)
∂
x
1
|
x
=
x
(
T
)
⋯
∂
Ψ
(
x
)
∂
x
n
|
x
=
x
(
T
)
]
{\displaystyle \Psi _{x}(x(T))={\begin{bmatrix}{\frac {\partial \Psi (x)}{\partial x_{1}}}|_{x=x(T)}&\cdots &{\frac {\partial \Psi (x)}{\partial x_{n}}}|_{x=x(T)}\end{bmatrix}}}
H
x
(
x
∗
,
u
∗
,
λ
∗
,
t
)
=
[
∂
H
∂
x
1
|
x
=
x
∗
,
u
=
u
∗
,
λ
=
λ
∗
⋯
∂
H
∂
x
n
|
x
=
x
∗
,
u
=
u
∗
,
λ
=
λ
∗
]
{\displaystyle H_{x}(x^{*},u^{*},\lambda ^{*},t)={\begin{bmatrix}{\frac {\partial H}{\partial x_{1}}}|_{x=x^{*},u=u^{*},\lambda =\lambda ^{*}}&\cdots &{\frac {\partial H}{\partial x_{n}}}|_{x=x^{*},u=u^{*},\lambda =\lambda ^{*}}\end{bmatrix}}}
L
x
(
x
∗
,
u
∗
)
=
[
∂
L
∂
x
1
|
x
=
x
∗
,
u
=
u
∗
⋯
∂
L
∂
x
n
|
x
=
x
∗
,
u
=
u
∗
]
{\displaystyle L_{x}(x^{*},u^{*})={\begin{bmatrix}{\frac {\partial L}{\partial x_{1}}}|_{x=x^{*},u=u^{*}}&\cdots &{\frac {\partial L}{\partial x_{n}}}|_{x=x^{*},u=u^{*}}\end{bmatrix}}}
f
x
(
x
∗
,
u
∗
)
=
[
∂
f
1
∂
x
1
|
x
=
x
∗
,
u
=
u
∗
⋯
∂
f
1
∂
x
n
|
x
=
x
∗
,
u
=
u
∗
⋮
⋱
⋮
∂
f
n
∂
x
1
|
x
=
x
∗
,
u
=
u
∗
…
∂
f
n
∂
x
n
|
x
=
x
∗
,
u
=
u
∗
]
{\displaystyle f_{x}(x^{*},u^{*})={\begin{bmatrix}{\frac {\partial f_{1}}{\partial x_{1}}}|_{x=x^{*},u=u^{*}}&\cdots &{\frac {\partial f_{1}}{\partial x_{n}}}|_{x=x^{*},u=u^{*}}\\\vdots &\ddots &\vdots \\{\frac {\partial f_{n}}{\partial x_{1}}}|_{x=x^{*},u=u^{*}}&\ldots &{\frac {\partial f_{n}}{\partial x_{n}}}|_{x=x^{*},u=u^{*}}\end{bmatrix}}}
以下是讓泛函最小化的必要條件。令
x
{\displaystyle x}
為在輸入為
u
{\displaystyle u}
時,動態系統 的狀態,且滿足以下條件
x
˙
=
f
(
x
,
u
)
,
x
(
0
)
=
x
0
,
u
(
t
)
∈
U
,
t
∈
[
0
,
T
]
{\displaystyle {\dot {x}}=f(x,u),\quad x(0)=x_{0},\quad u(t)\in {\mathcal {U}},\quad t\in [0,T]}
其中
U
{\displaystyle {\mathcal {U}}}
為可行控制的集合
T
{\displaystyle T}
為系統的結束時間。
控制
u
∈
U
{\displaystyle u\in {\mathcal {U}}}
需在所有
t
∈
[
0
,
T
]
{\displaystyle t\in [0,T]}
內使目標泛函
J
{\displaystyle J}
最小化,目標泛函
J
{\displaystyle J}
隨應用而定,可以寫成
J
=
Ψ
(
x
(
T
)
)
+
∫
0
T
L
(
x
(
t
)
,
u
(
t
)
)
d
t
{\displaystyle J=\Psi (x(T))+\int _{0}^{T}L(x(t),u(t))\,dt}
系統動態的限制可以用導入時變拉格朗日乘数 向量
λ
{\displaystyle \lambda }
的方式和
L
{\displaystyle L}
相加,而拉格朗日乘数向量
λ
{\displaystyle \lambda }
的元素稱為系統的協態(costate)。因此可以建構在所有
t
∈
[
0
,
T
]
{\displaystyle t\in [0,T]}
的哈密頓量 為:
H
(
x
(
t
)
,
u
(
t
)
,
λ
(
t
)
,
t
)
=
λ
T
(
t
)
f
(
x
(
t
)
,
u
(
t
)
)
+
L
(
x
(
t
)
,
u
(
t
)
)
{\displaystyle H(x(t),u(t),\lambda (t),t)=\lambda ^{\rm {T}}(t)f(x(t),u(t))+L(x(t),u(t))\,}
其中
λ
T
{\displaystyle \lambda ^{\rm {T}}}
是
λ
{\displaystyle \lambda }
的轉置。
庞特里亚金最小化原理提到最佳狀態軌跡
x
∗
{\displaystyle x^{*}}
,最佳控制
u
∗
{\displaystyle u^{*}}
及對應的拉格朗日乘数向量
λ
∗
{\displaystyle \lambda ^{*}}
必需最小化哈密頓量
H
{\displaystyle H}
,因此
(
1
)
H
(
x
∗
(
t
)
,
u
∗
(
t
)
,
λ
∗
(
t
)
,
t
)
≤
H
(
x
∗
(
t
)
,
u
,
λ
∗
(
t
)
,
t
)
{\displaystyle (1)\qquad H(x^{*}(t),u^{*}(t),\lambda ^{*}(t),t)\leq H(x^{*}(t),u,\lambda ^{*}(t),t)\,}
針對所有
t
∈
[
0
,
T
]
{\displaystyle t\in [0,T]}
時間,也針對所有可能的控制輸入
u
∈
U
{\displaystyle u\in {\mathcal {U}}}
。以下的式子也必須成立
(
2
)
Ψ
T
(
x
(
T
)
)
+
H
(
T
)
=
0
{\displaystyle (2)\qquad \Psi _{T}(x(T))+H(T)=0\,}
而且也要滿足以下的協態方程
(
3
)
−
λ
˙
T
(
t
)
=
H
x
(
x
∗
(
t
)
,
u
∗
(
t
)
,
λ
(
t
)
,
t
)
=
λ
T
(
t
)
f
x
(
x
∗
(
t
)
,
u
∗
(
t
)
)
+
L
x
(
x
∗
(
t
)
,
u
∗
(
t
)
)
{\displaystyle (3)\qquad -{\dot {\lambda }}^{\rm {T}}(t)=H_{x}(x^{*}(t),u^{*}(t),\lambda (t),t)=\lambda ^{\rm {T}}(t)f_{x}(x^{*}(t),u^{*}(t))+L_{x}(x^{*}(t),u^{*}(t))}
若最終狀態
x
(
T
)
{\displaystyle x(T)}
沒有固定(其微分變異不為0),最終協態也要滿足以下條件
(
4
)
λ
T
(
T
)
=
Ψ
x
(
x
(
T
)
)
{\displaystyle (4)\qquad \lambda ^{\rm {T}}(T)=\Psi _{x}(x(T))\,}
上述(1)-(4)的條件是最佳控制的必要條件。公式(4)只有在
x
(
T
)
{\displaystyle x(T)}
沒有固定時才需要成立。若
x
(
T
)
{\displaystyle x(T)}
是固定值,公式(4)不在必要條件中。
此解法可以應用在宇宙學和天體物理學中 [ 4] 。
^ 參考資料中有最早發表的論文
^ 在C1 及BV 空間條目中有更多的資訊
^ 參照 Pontryagin 1962年的書,第13頁
^ Haggag, S.; Desokey, F.; Ramadan, M.,. A cosmological inflationary model using optimal control. Gravitation and Cosmology (Pleiades Publishing). 2017, 23 (3): 236–239. ISSN 1995-0721 . doi:10.1134/S0202289317030069 .
Boltyanskii, V. G.; Gamkrelidze, R. V.; Pontryagin, L. S. К теории оптимальных процессов [Towards a Theory of Optimal Processes]. Dokl. Akad. Nauk SSSR. 1956, 110 (1): 7–10. MR 0084444 (俄语) .
Pontryagin, L. S.; Boltyanskii, V. G.; Gamkrelidze, R. V.; Mishchenko, E. F. The Mathematical Theory of Optimal Processes . English translation. Interscience. 1962. ISBN 2-88124-077-1 .
Fuller, A. T. Bibliography of Pontryagin's maximum principle. J. Electronics & Control. 1963, 15 (5): 513–517.
Kirk, D. E. Optimal Control Theory: An Introduction. Prentice Hall. 1970. ISBN 0-486-43484-2 .
Sethi, S. P.; Thompson, G. L. Optimal Control Theory: Applications to Management Science and Economics 2nd. Springer. 2000. ISBN 0-387-28092-8 . Slides are available at [1] (页面存档备份 ,存于互联网档案馆 )
Geering, H. P. Optimal Control with Engineering Applications. Springer. 2007. ISBN 978-3-540-69437-3 .
Ross, I. M. A Primer on Pontryagin's Principle in Optimal Control. Collegiate. 2009. ISBN 978-0-9843571-0-9 .
Cassel, Kevin W. Variational Methods with Applications in Science and Engineering. Cambridge University Press. 2013.