庞特里亚金最大化原理 (Pontryagin's maximum principle)也根据使用条件称为庞特里亚金最小化原理 或最大值原理 及最小值原理 ,是最优控制 中的理论,是在状态或是输入控件有限制条件的情形下,可以找到将动力系统 由一个状态到另一个状态的最优控制信号。此理论是苏俄数学家列夫·庞特里亚金 及他的学生在1956年提出的[ 1] 。这是变分法 中欧拉-拉格朗日方程 的特例。
简单来说,此定理是指在所有可能的控制中,需让“控制哈密顿量”(control Hamiltonian)取极值,极值是最大值或是最小值则依问题以及哈密顿量的符号定义而不同。正式的用法,也就是哈密顿量 中所使用的符号,会取到最大值,但是此条目中使用的符号定义方式,会让极值取到最小值。
若
U
{\displaystyle {\mathcal {U}}}
是所有可能控制值的集合,则此原理指出,最优控制
u
∗
{\displaystyle u^{*}}
必须满足以下条件:
H
(
x
∗
(
t
)
,
u
∗
(
t
)
,
λ
∗
(
t
)
,
t
)
≤
H
(
x
∗
(
t
)
,
u
,
λ
∗
(
t
)
,
t
)
,
∀
u
∈
U
,
t
∈
[
t
0
,
t
f
]
{\displaystyle H(x^{*}(t),u^{*}(t),\lambda ^{*}(t),t)\leq H(x^{*}(t),u,\lambda ^{*}(t),t),\quad \forall u\in {\mathcal {U}},\quad t\in [t_{0},t_{f}]}
其中
x
∗
∈
C
1
[
t
0
,
t
f
]
{\displaystyle x^{*}\in C^{1}[t_{0},t_{f}]}
是最佳状态轨迹,而
λ
∗
∈
B
V
[
t
0
,
t
f
]
{\displaystyle \lambda ^{*}\in BV[t_{0},t_{f}]}
是最佳 协态 轨迹[ 2]
此结果最早成功的应用在输入控制有限制条件的最小时间问题中,不过也可以用在状态有限制条件的问题中。
也可以推导控制哈密顿量的特殊条件。若最终时间
t
f
{\displaystyle t_{f}}
固定,且控制哈密顿量不是时间的显函数
(
∂
H
∂
t
≡
0
)
{\displaystyle \left({\tfrac {\partial H}{\partial t}}\equiv 0\right)}
,则:
H
(
x
∗
(
t
)
,
u
∗
(
t
)
,
λ
∗
(
t
)
)
≡
c
o
n
s
t
a
n
t
{\displaystyle H(x^{*}(t),u^{*}(t),\lambda ^{*}(t))\equiv \mathrm {constant} \,}
若最终时间没有限制,则:
H
(
x
∗
(
t
)
,
u
∗
(
t
)
,
λ
∗
(
t
)
)
≡
0.
{\displaystyle H(x^{*}(t),u^{*}(t),\lambda ^{*}(t))\equiv 0.\,}
若在某一轨迹上满足庞特里亚金最大化原理,此原理是最佳解的必要条件 。哈密顿-雅可比-贝尔曼方程 提供了最佳解的充份必要条件 ,但该条件须在整个状态空间中都要成立。
此定理一开始的名称是庞特里亚金最大化原理(Pontryagin's maximum principle),其证明也是以控制哈密顿量最大化为基础。此原理最早的应用是要最大化火箭的终端速度。不过后来此定理大部分的应用是使性能指标最小化,因此常称为庞特里亚金最小化原理。庞特里亚金的书解出了要让性能指标最小化的问题[ 3]
以下的内容会使用这些表示方式
Ψ
T
(
x
(
T
)
)
=
∂
Ψ
(
x
)
∂
T
|
x
=
x
(
T
)
{\displaystyle \Psi _{T}(x(T))={\frac {\partial \Psi (x)}{\partial T}}|_{x=x(T)}\,}
Ψ
x
(
x
(
T
)
)
=
[
∂
Ψ
(
x
)
∂
x
1
|
x
=
x
(
T
)
⋯
∂
Ψ
(
x
)
∂
x
n
|
x
=
x
(
T
)
]
{\displaystyle \Psi _{x}(x(T))={\begin{bmatrix}{\frac {\partial \Psi (x)}{\partial x_{1}}}|_{x=x(T)}&\cdots &{\frac {\partial \Psi (x)}{\partial x_{n}}}|_{x=x(T)}\end{bmatrix}}}
H
x
(
x
∗
,
u
∗
,
λ
∗
,
t
)
=
[
∂
H
∂
x
1
|
x
=
x
∗
,
u
=
u
∗
,
λ
=
λ
∗
⋯
∂
H
∂
x
n
|
x
=
x
∗
,
u
=
u
∗
,
λ
=
λ
∗
]
{\displaystyle H_{x}(x^{*},u^{*},\lambda ^{*},t)={\begin{bmatrix}{\frac {\partial H}{\partial x_{1}}}|_{x=x^{*},u=u^{*},\lambda =\lambda ^{*}}&\cdots &{\frac {\partial H}{\partial x_{n}}}|_{x=x^{*},u=u^{*},\lambda =\lambda ^{*}}\end{bmatrix}}}
L
x
(
x
∗
,
u
∗
)
=
[
∂
L
∂
x
1
|
x
=
x
∗
,
u
=
u
∗
⋯
∂
L
∂
x
n
|
x
=
x
∗
,
u
=
u
∗
]
{\displaystyle L_{x}(x^{*},u^{*})={\begin{bmatrix}{\frac {\partial L}{\partial x_{1}}}|_{x=x^{*},u=u^{*}}&\cdots &{\frac {\partial L}{\partial x_{n}}}|_{x=x^{*},u=u^{*}}\end{bmatrix}}}
f
x
(
x
∗
,
u
∗
)
=
[
∂
f
1
∂
x
1
|
x
=
x
∗
,
u
=
u
∗
⋯
∂
f
1
∂
x
n
|
x
=
x
∗
,
u
=
u
∗
⋮
⋱
⋮
∂
f
n
∂
x
1
|
x
=
x
∗
,
u
=
u
∗
…
∂
f
n
∂
x
n
|
x
=
x
∗
,
u
=
u
∗
]
{\displaystyle f_{x}(x^{*},u^{*})={\begin{bmatrix}{\frac {\partial f_{1}}{\partial x_{1}}}|_{x=x^{*},u=u^{*}}&\cdots &{\frac {\partial f_{1}}{\partial x_{n}}}|_{x=x^{*},u=u^{*}}\\\vdots &\ddots &\vdots \\{\frac {\partial f_{n}}{\partial x_{1}}}|_{x=x^{*},u=u^{*}}&\ldots &{\frac {\partial f_{n}}{\partial x_{n}}}|_{x=x^{*},u=u^{*}}\end{bmatrix}}}
以下是让泛函最小化的必要条件。令
x
{\displaystyle x}
为在输入为
u
{\displaystyle u}
时,动态系统 的状态,且满足以下条件
x
˙
=
f
(
x
,
u
)
,
x
(
0
)
=
x
0
,
u
(
t
)
∈
U
,
t
∈
[
0
,
T
]
{\displaystyle {\dot {x}}=f(x,u),\quad x(0)=x_{0},\quad u(t)\in {\mathcal {U}},\quad t\in [0,T]}
其中
U
{\displaystyle {\mathcal {U}}}
为可行控制的集合
T
{\displaystyle T}
为系统的结束时间。
控制
u
∈
U
{\displaystyle u\in {\mathcal {U}}}
需在所有
t
∈
[
0
,
T
]
{\displaystyle t\in [0,T]}
内使目标泛函
J
{\displaystyle J}
最小化,目标泛函
J
{\displaystyle J}
随应用而定,可以写成
J
=
Ψ
(
x
(
T
)
)
+
∫
0
T
L
(
x
(
t
)
,
u
(
t
)
)
d
t
{\displaystyle J=\Psi (x(T))+\int _{0}^{T}L(x(t),u(t))\,dt}
系统动态的限制可以用导入时变拉格朗日乘数 向量
λ
{\displaystyle \lambda }
的方式和
L
{\displaystyle L}
相加,而拉格朗日乘数向量
λ
{\displaystyle \lambda }
的元素称为系统的协态(costate)。因此可以建构在所有
t
∈
[
0
,
T
]
{\displaystyle t\in [0,T]}
的哈密顿量 为:
H
(
x
(
t
)
,
u
(
t
)
,
λ
(
t
)
,
t
)
=
λ
T
(
t
)
f
(
x
(
t
)
,
u
(
t
)
)
+
L
(
x
(
t
)
,
u
(
t
)
)
{\displaystyle H(x(t),u(t),\lambda (t),t)=\lambda ^{\rm {T}}(t)f(x(t),u(t))+L(x(t),u(t))\,}
其中
λ
T
{\displaystyle \lambda ^{\rm {T}}}
是
λ
{\displaystyle \lambda }
的转置。
庞特里亚金最小化原理提到最佳状态轨迹
x
∗
{\displaystyle x^{*}}
,最佳控制
u
∗
{\displaystyle u^{*}}
及对应的拉格朗日乘数向量
λ
∗
{\displaystyle \lambda ^{*}}
必需最小化哈密顿量
H
{\displaystyle H}
,因此
(
1
)
H
(
x
∗
(
t
)
,
u
∗
(
t
)
,
λ
∗
(
t
)
,
t
)
≤
H
(
x
∗
(
t
)
,
u
,
λ
∗
(
t
)
,
t
)
{\displaystyle (1)\qquad H(x^{*}(t),u^{*}(t),\lambda ^{*}(t),t)\leq H(x^{*}(t),u,\lambda ^{*}(t),t)\,}
针对所有
t
∈
[
0
,
T
]
{\displaystyle t\in [0,T]}
时间,也针对所有可能的控制输入
u
∈
U
{\displaystyle u\in {\mathcal {U}}}
。以下的式子也必须成立
(
2
)
Ψ
T
(
x
(
T
)
)
+
H
(
T
)
=
0
{\displaystyle (2)\qquad \Psi _{T}(x(T))+H(T)=0\,}
而且也要满足以下的协态方程
(
3
)
−
λ
˙
T
(
t
)
=
H
x
(
x
∗
(
t
)
,
u
∗
(
t
)
,
λ
(
t
)
,
t
)
=
λ
T
(
t
)
f
x
(
x
∗
(
t
)
,
u
∗
(
t
)
)
+
L
x
(
x
∗
(
t
)
,
u
∗
(
t
)
)
{\displaystyle (3)\qquad -{\dot {\lambda }}^{\rm {T}}(t)=H_{x}(x^{*}(t),u^{*}(t),\lambda (t),t)=\lambda ^{\rm {T}}(t)f_{x}(x^{*}(t),u^{*}(t))+L_{x}(x^{*}(t),u^{*}(t))}
若最终状态
x
(
T
)
{\displaystyle x(T)}
没有固定(其微分变异不为0),最终协态也要满足以下条件
(
4
)
λ
T
(
T
)
=
Ψ
x
(
x
(
T
)
)
{\displaystyle (4)\qquad \lambda ^{\rm {T}}(T)=\Psi _{x}(x(T))\,}
上述(1)-(4)的条件是最佳控制的必要条件。公式(4)只有在
x
(
T
)
{\displaystyle x(T)}
没有固定时才需要成立。若
x
(
T
)
{\displaystyle x(T)}
是固定值,公式(4)不在必要条件中。
此解法可以应用在宇宙学和天体物理学中 [ 4] 。
^ 参考资料中有最早发表的论文
^ 在C1 及BV 空间条目中有更多的资讯
^ 参照 Pontryagin 1962年的书,第13页
^ Haggag, S.; Desokey, F.; Ramadan, M.,. A cosmological inflationary model using optimal control. Gravitation and Cosmology (Pleiades Publishing). 2017, 23 (3): 236–239. ISSN 1995-0721 . doi:10.1134/S0202289317030069 .
Boltyanskii, V. G.; Gamkrelidze, R. V.; Pontryagin, L. S. К теории оптимальных процессов [Towards a Theory of Optimal Processes]. Dokl. Akad. Nauk SSSR. 1956, 110 (1): 7–10. MR 0084444 (俄语) .
Pontryagin, L. S.; Boltyanskii, V. G.; Gamkrelidze, R. V.; Mishchenko, E. F. The Mathematical Theory of Optimal Processes . English translation. Interscience. 1962. ISBN 2-88124-077-1 .
Fuller, A. T. Bibliography of Pontryagin's maximum principle. J. Electronics & Control. 1963, 15 (5): 513–517.
Kirk, D. E. Optimal Control Theory: An Introduction. Prentice Hall. 1970. ISBN 0-486-43484-2 .
Sethi, S. P.; Thompson, G. L. Optimal Control Theory: Applications to Management Science and Economics 2nd. Springer. 2000. ISBN 0-387-28092-8 . Slides are available at [1] (页面存档备份 ,存于互联网档案馆 )
Geering, H. P. Optimal Control with Engineering Applications. Springer. 2007. ISBN 978-3-540-69437-3 .
Ross, I. M. A Primer on Pontryagin's Principle in Optimal Control. Collegiate. 2009. ISBN 978-0-9843571-0-9 .
Cassel, Kevin W. Variational Methods with Applications in Science and Engineering. Cambridge University Press. 2013.