-
哈密顿正则方程和哈密顿-雅克比方程
2018-07-06 14:57:56勒让德变换和正则方程 设有f(x,y)f(x,y)f(x,y),则全微分df(x,y)=udx+vdydf(x,y)=udx+vdydf(x,y)=udx+vdy,其中u=∂f(x,y)/∂x,v=∂f(x,y)/∂yu=∂f(x,y)/∂x,v=∂f(x,y)/∂yu=\partial f(x,y)/\partial x,v=\...勒让德变换和正则方程
设有,则全微分,其中。这里的变量是。注意是的函数,即,从这个式子出发,也可以把函数关系表示为。现在希望把变量换成和,也就是说把函数看做复合函数,构造函数,则,上式就成功地把变量换成了和,有。这就是勒让德变换,通过修改被全微分的函数,来把全微分式中换成。
位形空间中的拉格朗日函数以和为自由变量,现在想把换成对应的动量,让自由变量变成和。先求其全微分
按照广义动量的定义和拉格朗日方程代入拉格朗日函数的全微分式中,得到上式中扮演自变量身份的还是三者,现在希望把上式中的换成,从而把自变量换成三者。为此使用勒让德变换,构造新函数求上式全微分得到这就是说这个新函数和拉格朗日力学中的广义能量函数一样,但是这里把它写作的函数(相空间),而非的函数(位形空间),所以这里称为哈密顿函数。前两个式子就是哈密顿正则方程。罗斯函数
上面利用勒让德变换把所有的广义速度换成了广义动量,但是有时候只希望一部分广义坐标对应的广义速度被替换,而另一部分仍保留广义速度。这时介于拉格朗日函数和哈密顿函数之间的,叫做罗斯函数。例如假设系统有两个广义坐标,现在只想把拉格朗日函数中的换成广义动量,而保留。为此构造罗斯函数
求其全微分为这表明前两式正是这个广义坐标对应的哈密顿正则方程。把后两式代入的拉格朗日方程中,有所以如果只对希望变换的广义速度进行勒让德变换,则得到的结果就是罗斯函数,罗斯函数对于已经变换的广义坐标,得到的运动方程是哈密顿正则方程形式,对于还未变换的广义坐标,得到的还是拉格朗日方程形式。如果坐标是循环坐标,则原拉格朗日函数不显含,则上面罗斯函数不显含,又因为循环坐标,从而为常数,由此上面的方程只是关于的微分方程,循环坐标完全被消去,比的拉格朗日方程要简单。泊松括号和力学量随时间的变化
设力学量,则关于时间全导数为
又因为所以定义泊松括号为则这就是力学量随时间的变化。如果函数不显含时间,则守恒的充要条件是。作用量函数
最小作用量原理说的是在时刻和时刻,系统的位置由两组坐标和确定,那么系统在这两个位置之间的运动使得作用量
取最小值。即。设使得作用量取最小值,现在给一个变分,变分满足,从而系统始末状态不变,只是运动轨迹变化。则使用代替给带来的变分为
由于是等时变分,所以,分部积分可得现在重新考虑作用量,让积分沿着真实的运动路径,只固定对应的这一端,而让在时刻的通过不同的位置,这样作用量就是时刻通过的不同位置的函数。观察上面的式子,由于沿着真实的运动路径,上式积分为零,而第一项的下限有所以有
其中是时的,是对应的广义动量。上式表明,若如此重新考虑作用量,则有这是固定两端时间和一端状态,而让另一端的状态变动的情况;同样的,还可以这样重新考虑作用量,固定两个状态和,以及一端的时间,而让另一端时间变动(简记为),则可设想,也会存在一个,它的具体表达式求法如下:将看做末端的坐标和时间的函数,则有另一方面,按照作用量的定义,有,两式对比,则有所以如此定义的作用量的全微分可以写作这里的作用量是末端坐标和时间的函数,又叫做哈密顿主函数。正则变换
给个广义坐标做变换,,则个仍然是广义坐标,从而拉格朗日方程仍然成立(因为拉格朗日方程不依赖于广义坐标的选取),这种变换称为点变换。在哈密顿力学中,都是平等的独立变量,因此变换还可以推广到个,即从到新变量
但是作该变换以后,运动方程不一定具有正则形式:而运动方程能保持这种结构的变换称之为正则变换。可见正则变换是需要一定条件的。这个条件就是其中是正则变换,是变换后的哈密顿函数,是一个关于新老坐标、时间的函数,称之为变换的母函数。也就是说一个变换如果是正则变换,则上式的右端一定是某个函数的全微分。由上式可以看出这里的母函数,也可以采用勒让德变换把母函数变成和的函数,为此把上面的全微分换成得到上式表明左端是一个关于的函数,这个母函数记为,显然有需类似地母函数还有两个,一共四类母函数。要注意的是,进行正则变换以后,哈密顿函数的形式会发生变化,上式最后一个式子表明母函数对时间的偏导数给出新老哈密顿函数的差值,如果选取的母函数不显含时间,则只需要将原哈密顿函数中的代换成即可。
因为在一个正则变换中,即有动量参与,也有坐标参与,所以变换后的不在具有动量或坐标的意义,无法进行区分,所以称为正则共轭变量。另外,正则变换不改变泊松括号,即
最后,的随时间的演化也可以归结为一种正则变换,变换的母函数就是。前面说,初始固定而末端变动的作用量函数是末端时间和坐标的函数,由此有作用量函数的全微分
现在如果让初始端也变动(但固定时间差),则作用量函数是初始状态、初始时刻、末尾状态三者的函数,且明显有全微分式对比第一类母函数,可以发现是从到的正则变换母函数。哈密顿-雅克比方程
对于末端变化的作用量函数,前面已经得出
将后一式的代入前一式的哈密顿函数中去,得到称为哈密顿-雅克比方程。观察该方程,它是一个偏微分方程,求微分的函数是,自变量是和时间,而且是一阶的偏微分方程。考虑方程的全积分,应该含有个任意常数,由于仅以其导数的形式出现在方程中,所以这个任意常数中必然有一个是相加的:其中和是这个任意常数。现在用作为个新动量,用作为正则变换的母函数,则该母函数是第二类母函数。设正则变换带来的新坐标为,则按照正则变换,有只看上面最后一个式子,所以变换后的哈密顿函数,从而根据哈密顿正则方程,有再回来看第二个式子(其实是个式子)可以将个坐标用时间和个常数表示出来。所以哈密顿-雅克比方程也像拉格朗日方程或者哈密顿正则方程一样成为求解问题的基础方程。 -
贝尔曼方程怎么解_哈密顿-雅可比-贝尔曼方程
2020-12-19 11:56:20哈密顿-雅可比-贝尔曼方程(Hamilton-Jacobi-Bellman equation,简称H*方程)是一个偏微分方程,是最佳控制的中心。H*方程式的解是针对特定动态系统及相关成本函数下,有最小成本的实值函数。若只在某一个区域求解,H*...哈密顿-雅可比-贝尔曼方程(Hamilton-Jacobi-Bellman equation,简称H*方程)是一个偏微分方程,是最佳控制的中心。H*方程式的解是针对特定动态系统及相关成本函数下,有最小成本的实值函数。
若只在某一个区域求解,H*方程是一个必要条件,若是在整个状态空间下求解,H*方程是充份必要条件。其解是针对开回路的系统,但也允许针对闭回路系统求解。H*方程也可以扩展到随机系统。
一些经典的变分问题,例如最速降线问题,可以用此方法求解。
H*方程的基础是以1950年代由理查德·贝尔曼及其同仁提出的动态规划[1]。对应的离散系统方程式一般称为贝尔曼方程。在连续时间的结果可以视为由卡尔·雅可比及威廉·哈密顿提出,经典力学中哈密顿-雅可比方程的延伸。
目录
1 最佳控制的问题
2 偏微分方程
3 推导H*方程
4 求解方程
5 延伸到随机问题
5.1 在LQG控制的应用
6 相关条目
7 参考资料
8 延伸阅读
最佳控制的问题
考虑在时间[
0
,
T
]
{displaystyle [0,T]}
内,以下确定系统最佳控制的问题:
V
(
x
(
0
)
,
0
)
=
min
u
{
∫
0
T
C
[
x
(
t
)
,
u
(
t
)
]
d
t
+
D
[
x
(
T
)
]
}
{displaystyle V(x(0),0)=min _{u}left{int _{0}^{T}C[x(t),u(t)],dt+D[x(T)]right}}
其中C[ ]为标量成本函数,D[ ]为计算其最终状态时效力时或经济值的函数,x(t)为系统状态向量,x(0)假设已知,及u(t)是想要求得的控制向量,在 0 ≤ t ≤ T。
此系统也需满足下式:
x
˙
(
t
)
=
F
[
x
(
t
)
,
u
(
t
)
]
{displaystyle {dot {x}}(t)=F[x(t),u(t)],}
其中F[ ]可以根据状态向量决定向量后续的变化。
偏微分方程
针对上述简单的系统,哈密顿-雅可比-贝尔曼微分方程如下:
V
˙
(
x
,
t
)
+
min
u
{
∇
V
(
x
,
t
)
⋅
F
(
x
,
u
)
+
C
(
x
,
u
)
}
=
0
{displaystyle {dot {V}}(x,t)+min _{u}left{nabla V(x,t)cdot F(x,u)+C(x,u)right}=0}
需符合以下条件
V
(
x
,
T
)
=
D
(
x
)
,
{displaystyle V(x,T)=D(x),,}
其中a
⋅
b
{displaystyle acdot b}
为向量a和b的内积,而∇
{displaystyle nabla }
为梯度运算子。
上述PDE中的未知向量V
(
x
,
t
)
{displaystyle V(x,t)}
是贝尔曼间接效用函数(英语:間接效用函數),表示从时间t
{displaystyle t}
,状态x
{displaystyle x}
开始控制系统,以最佳方式控制系统一直到时间T
{displaystyle T}
的成本。
推导H*方程
H*方程可以用以下的方式推导:假设V
(
x
(
t
)
,
t
)
{displaystyle V(x(t),t)}
是最佳的成本函数,则根据理查·贝尔曼的贝尔曼方程,从时间t到t + dt,可得:
V
(
x
(
t
)
,
t
)
=
min
u
{
∫
t
t
+
d
t
C
(
x
(
t
)
,
u
(
t
)
)
d
t
+
V
(
x
(
t
+
d
t
)
,
t
+
d
t
)
}
.
{displaystyle V(x(t),t)=min _{u}left{int _{t}^{t+dt}C(x(t),u(t)),dt+V(x(t+dt),t+dt)right}.}
注意最后一项的泰勒展开式如下:
V
(
x
(
t
+
d
t
)
,
t
+
d
t
)
=
V
(
x
(
t
)
,
t
)
+
V
˙
(
x
(
t
)
,
t
)
d
t
+
∇
V
(
x
(
t
)
,
t
)
⋅
x
˙
(
t
)
d
t
+
o
(
d
t
)
,
{displaystyle V(x(t+dt),t+dt)=V(x(t),t)+{dot {V}}(x(t),t),dt+nabla V(x(t),t)cdot {dot {x}}(t),dt+o(dt),}
其中o(dt)是泰勒展开式中的高阶项,若在等式两侧删除V(x(t), t),除以dt,并取dt趋近为零的极限,可得上述定义的H*方程。
求解方程
H*方程一般会用逆向归纳法(英语:Backward induction)求解,也就是从t
=
T
{displaystyle t=T}
往前求解到t
=
0
{displaystyle t=0}
。
若对整个状态空间求解,H*方程是最佳解的充份必要条件[2]。若可以求解V
{displaystyle V}
,就可以找到达到最小成本的控制u
{displaystyle u}
。
一般而言,H*方程不会有一个传统光滑函数的解。为了这些情形发展了许多广义解的表示方式,包括皮埃尔-路易·利翁及迈克尔·克兰德尔(英语:Michael Crandall)的粘性解,Andrei Izmailovich Subbotin的极小化极大算法等。
延伸到随机问题
上述的作法主要是应用贝尔曼的最优化原理,以及在时间上由最终时间倒推求解,针对随机控制问题也可以用类似的作法求最佳解。考虑以下的问题
min
{
∫
0
T
C
(
t
,
X
t
,
u
t
)
d
t
+
D
(
X
T
)
}
{displaystyle min left{int _{0}^{T}C(t,X_{t},u_{t}),dt+D(X_{T})right}}
此时(
X
t
)
t
∈
[
0
,
T
]
{displaystyle (X_{t})_{tin [0,T]},!}
为随机过程,而(
u
t
)
t
∈
[
0
,
T
]
{displaystyle (u_{t})_{tin [0,T]},!}
为控制变数。首先使用贝尔曼方程,再用伊藤引理将V
(
X
t
,
t
)
{displaystyle V(X_{t},t)}
展开,可以得到以下的随机H*方程。
min
u
{
A
V
(
x
,
t
)
+
C
(
t
,
x
,
u
)
}
=
0
,
{displaystyle min _{u}left{{mathcal {A}}V(x,t)+C(t,x,u)right}=0,}
其中A
{displaystyle {mathcal {A}}}
为随机微分运算子,以下是最终时间的限制条件。
V
(
x
,
T
)
=
D
(
x
)
.
{displaystyle V(x,T)=D(x),!.}
注意此时已没有随机性了。此例中后者的V
{displaystyle V,!}
不一定是原来方程式的解,它只是可能解之一,需要再作验证。此技巧常用在财务数学中,决定在市场中的最佳投资策略(例如像默顿的投资组合问题(英语:Merton's portfolio problem))。
在LQG控制的应用
下例是一个有线性随机动态特性的系统,有二次式的成本。若系统动态为
d
x
t
=
(
a
x
t
+
b
u
t
)
d
t
+
σ
d
w
t
,
{displaystyle dx_{t}=(ax_{t}+bu_{t})dt+sigma dw_{t},}
而成本以以下的速度累积C
(
x
t
,
u
t
)
=
r
(
t
)
u
t
2
/
2
+
q
(
t
)
x
t
2
/
2
{displaystyle C(x_{t},u_{t})=r(t)u_{t}^{2}/2+q(t)x_{t}^{2}/2}
,则H*方程为
−
∂
V
(
x
,
t
)
∂
t
=
1
2
q
(
t
)
x
2
+
∂
V
(
x
,
t
)
∂
x
a
x
−
b
2
2
r
(
t
)
(
∂
V
(
x
,
t
)
∂
x
)
2
+
σ
∂
2
V
(
x
,
t
)
∂
x
2
.
{displaystyle -{frac {partial V(x,t)}{partial t}}={frac {1}{2}}q(t)x^{2}+{frac {partial V(x,t)}{partial x}}ax-{frac {b^{2}}{2r(t)}}left({frac {partial V(x,t)}{partial x}}right)^{2}+sigma {frac {partial ^{2}V(x,t)}{partial x^{2}}}.}
假设价值函数是二次式,可以将一般的Riccati方程用在价值函数的海森矩阵中,即为线性二次高斯控制(LQG控制)。
相关条目
贝尔曼方程,离散的哈密顿-雅可比-贝尔曼方程。
Pontryagin最小值定理(英语:Pontryagin's minimum principle),是将哈密顿量最小值,是最佳化必要但不充份的条件,和哈密顿-雅可比-贝尔曼方程相比的好处是只要考虑满足条件的单一轨迹。
参考资料
^ R. E. Bellman. Dynamic Programming. Princeton, NJ, 1957.
^ Dimitri P Bertsekas. Dynamic programming and optimal control. Athena Scientific, 2005.
延伸阅读
Dimitri P. Bertsekas. Dynamic programming and optimal control. Athena Scientific. 2005.
-
新的描述伪球面的五阶非线性发展方程的哈密顿结构,孤子解和守恒律
2020-06-04 10:14:22在本文中,我们将表明,可以为描述恒定负曲率表面的任何非线性演化方程定义哈密顿结构,因此守恒律的密度可以视为对应的哈密顿量。 利用逆散射法求出了一个新的五阶非线性发展方程的孤子解和守恒量。 -
哈密顿力学摘要
2020-12-26 23:08:05文章目录前言哈密顿原理经典变分问题数学基础区别函数和泛函变分—自变量不变条件下函数自身的变化变分运算规则积分形式的泛函及其极值问题最速降线问题变分问题的欧拉方程哈密顿原理的优点哈密顿正则方程广义动量与...文章目录
前言
这篇文章是交通大学物理学院开设的理论力学的课程PPT缩略版。哈密顿力学是泛函的一大体现之一,而泛函作为如今十大数学技能应该被学习。为了方便大家的阅读,特制了本篇网页版的董兵老师的PPT。
提示:本篇文章为私人笔记,若有侵权,请联系我删除
哈密顿原理
经典变分问题
- 最速落径问题
在垂直平面内,连接不在同一铅直线上的两点A、B间的曲线,使质点在自重作用下无初速以最短时间从A滑至B。 - 最短线程问题
曲面上给定两点间的长度最短的曲线。 - 等周问题
长度固定的平面封闭曲线所围面积最大的曲线形状。
数学基础
区别函数和泛函
- 函数:,自变量,定义域为数。
- 泛函:,自变量 定义域为函数。
变分—自变量不变条件下函数自身的变化
- 微分
- 变分
变分运算规则
积分形式的泛函及其极值问题
例如泛函为两端点固定的积分型泛函,就像在我们研究时我们希望其导数为0一样,我们也希望泛函满足条件。
最速降线问题
为了更好地明白这个问题,我们使用最速降线来举例子
在铅直平面内在所有连接两个定点A和B的曲线中,找出一 条曲线来,使得初速度为零的质点,在重力作用下,自全点沿 它无摩擦地滑下时,以最短时间到达B点。
设曲线AB方程为,我们可以得知质点沿着曲线运动的距离为
我们可以写出质点自A沿曲线y(x)自由滑至B点所需的时间为:可知T的值与曲线的形状有关,T是y的泛函,则我们希望变分问题的欧拉方程
对于我们要找到一个合适的使得。对于固定边界的问题有
我们由已知的变分运算法则得到
于是有
对上式做Taylor展开有
higher terms
下面计算变分
其中
于是整理得到:
即有,我们称其为欧拉方程上面的问题中只有一个未知量,对于多元泛函也是差不多的处理方案。对多元泛函,若其边界也是固定的,则它的极值问题由Euler方程组决定:
哈密顿原理的优点
- 统一、简洁、完美,具有坐标变换的不变性;
- 具有很强的普适性可推广至无限自由度以及物理学其他领域;是积分形式的变分原理;
- 可用于创建新的理论。根据假设构造出拉格朗日函数,用哈密顿原理导出运动方程,由实践检验其正确性;
- 任何理论有一定的适用范围,这里的哈密顿原理的表述方式也并非对于任意力学系统成立,实际上对力学系统内外部的相互作用有一定的限制,要求相互作用可表示为一标量函数,一般来说,物理学通常关心的正是这种体系
哈密顿正则方程
回顾Lagrange力学:以广义坐标为独立变量,运动方程是构型空间中二阶微分方程组— Lagrange方程;在数学上为了处理问题的方便,往往将一个二阶微分方程化为两个一阶微分方程从而在相空间里讨论问题(降阶法)。对于 Lagrange方程,即将s个阶微分方程化为2s个一阶微分方程来处理,比如
Hamilton力学:以广义坐标和广义动量为独立变量,运动方程是相空间中的一阶微分方程组——Hamilton正则方程:分析力学的第二个理论形式。
广义动量与相空间
我们首先定义广义动量称 为相互共轩的正则变量。 描写系统 的位置状态, 描写系统的运动状态。由相互独 立的 组成的2s维空间,才是系统状态 的完整描述,称为相空间(相即状态)。
一般Lagrangian 中 的地位不对 称,如果通过变换把 变为 ,
即做反函数 并代入L,则可以 把运动微分方程降价,这可行吗?我们并不可以直接代换,我们需要更多的操作!
Legrand变换
法国数学家与天文学家 A.M. LeGendre于1787年间在研究最小曲面的启发下提出如下问题:
有双元函数 其全微分为
我们今天希望能得到一个函数,其中 - 最速落径问题