精华内容
下载资源
问答
  • 最优化中的牛顿法,二阶收敛性

    万次阅读 2016-11-17 02:05:35
    最近偶尔翻阅一本写的不错的最优化理论教材,该书讲得很详细,很透彻。我对非线性规划理论又有了全新的认识,发现牛顿法...适用对象:二阶可微函数 牛顿法的几何意义本质: 在原函数的某一点处用一个二次函数近似

    最近偶尔翻阅一本写的不错的最优化理论教材,该书讲得很详细,很透彻。我对非线性规划理论又有了全新的认识,发现牛顿法可以说是是无约束优化中最重要的方法,其他方法:LM方法,高斯牛顿,拟牛顿法,共轭梯度法可以说是对牛顿法的扩展。准备闲来无事时将牛顿法的原理以及求解过程用数例好好再过一遍。
     

    适用对象:二阶可微函数

     

    1. 牛顿法的几何意义本质

           在原函数的某一点处用一个二次函数近似原函数,然后用这个二次函数的极小值点作为原函数的下一个迭代点。

    上面这句话也说明,若原函数本身是一个二次函数,则牛顿法一步就能到达极小点或鞍点。若原函数本身是一个二次正定函数,则牛顿法一步到达最小值点。

     

    2. 牛顿法的代数意义

     

    梯度与黑塞矩阵分别由下列符号表示:

      

      

    设任意点为 Xk,下个一迭代点位 Xk+Sk, 该迭代点在 Xk 处的泰勒展开式为:

    用下个迭代点的值代替改点的值,即:

    因此:

    所以,迭代方向为:

    该方向又称作牛顿方向。

     

    3. 牛顿法的二阶收敛性

    若初始点 x0 充分靠近极值点 x*,并且极值点 x* 的黑塞矩阵非奇异,并且黑塞矩阵在极值点附近 Lipschitz 连续,则牛顿法具有二阶收敛性。

    注:Lipschitz 连续是一种比普通连续性更强的连续,它限制了函数的改变速度。对于函数可行域的任意两点,存在一个常数 K,使得:

    证明:

    由黑塞矩阵的非奇异性与连续性知道,在 x*附近,存在一个常数 M,对于任意的 k,使得

    而:

    上式右端成立,是因为 g(x*)=0。继续:

    上式是因为:

    继续,再利用到 Lipstchitz 连续,得到:

    因此,牛顿迭代法二阶收敛。

    展开全文
  • 数学中正负开方术的收敛性讨论 运用数学原理论证了其二阶收敛性
  • 二阶收敛算法

    千次阅读 2019-09-25 13:25:28
    1.2 什么叫二阶收敛 如果在有限步内找到二次函数的最优解,则该算法就称为二阶收敛。 1.3 什么叫共轭方向 2 共轭梯度法 2.1 引入 2.2 特点 举个例子体会: 2.3 Fletcher-Reeves 算法 举个例子体会: 这个例子...

    1预备知识

    1.1 什么叫二次函数

    1414369-20190505193010883-4866117.png

    1.2 什么叫二阶收敛

    如果在有限步内找到二次函数的最优解,则该算法就称为二阶收敛。

    1.3 什么叫共轭方向

    1414369-20190505193257141-143027340.jpg

    2 共轭梯度法

    2.1 引入

    1414369-20190505193409245-643227944.jpg

    1414369-20190505193450229-171609056.jpg

    2.2 特点

    1414369-20190505193616986-986053878.jpg

    举个例子体会:

    1414369-20190505193809421-1930648325.jpg

    2.3 Fletcher-Reeves 算法

    1414369-20190505193926355-1610930905.jpg

    举个例子体会:

    1414369-20190505194059193-1515911470.jpg

    这个例子是想说明:按照前边的理论来说,对于二次函数,最多迭代n次(维数),必然达到最优点,而此例题是因为中间有计算的误差,所以没有达到最优点。解决办法是:执行步骤3。

    2.4 Powell 算法

    1414369-20190505194443975-869597546.jpg

    1414369-20190505194513780-1620182379.jpg

    举个例子体会:

    1414369-20190505194607227-1911618402.jpg

    这个例子想说明:有计算误差,所以最后的结果不为0。

    3 变尺度算法

    3.1 引入

    1414369-20190505194825620-2034455666.jpg

    3.2 Fletcher-Powell 变尺度算法

    1414369-20190505194941656-91501574.jpg

    举个例子体会:

    1414369-20190505195026003-1077127745.jpg

    1414369-20190505195159397-114703614.png

    转载于:https://www.cnblogs.com/Terrypython/p/10815844.html

    展开全文
  • 【最优化】二阶收敛算法

    千次阅读 2020-11-28 13:29:55
    给出了无约束优化问题中的二阶收敛算法,如共轭方向(梯度)算法,Powell算法和拟牛顿法。

    二阶收敛算法

    不管是前面的最速下降法还是最优梯度法,他们都是线性(一阶)收敛的;而在本章中我们要讨论二阶收敛的优化算法。
    该类算法不仅收敛速度加快,并且可以保证在有限步内找到最优解。

    从理解的角度,如果一个算法可以在有限步内找到二次函数的最优解的话,我们就说这个算法是二阶收敛的。


    相关背景概念

    最优步长算法性质

    《【最优化】无约束梯度算法》这一篇博文中,我们先是讲述了梯度算法的一般框架,然后确定了最速下降法的迭代形式;接着为了让步长k的选择具有自适应,我们引入了最优步长的思想(每一轮迭代都关于步长k进行一次一维搜索)得到了最优梯度法。

    文末,我们给出了结论“最优梯度法相邻两个点的搜索方向一定是正交的”。

    该结论在后续的算法中还会用到,且我们需要对其进行推广:

    • 使用了【最优步长】思想的算法,其本次迭代点的梯度方向一定与上一次的搜索方向是相互正交的。

    【证明】
    在这里插入图片描述

    二次函数及其概念

    1. 定义
    ——常数项、一次项及二次项的组合
    (1)标准形式
    在这里插入图片描述
    (2)矩阵向量形式
    在这里插入图片描述

    或者说矩阵A总是可以写成对称的形式,因为通过“矩阵向量形式-标准形式”的转换,总能把矩阵A化成对称阵的形式:
    在这里插入图片描述

    2. 性质

    (1)如果矩阵A是正定的,那么就称对应的二次函数f(x)是正定二次函数。

    p.s. 此处可以类比二次型的定义和分类。

    (2)对于二次函数,按照矩阵求导法则,可以得到其梯度向量;如果A是正定矩阵,那么正定二次函数f(x)就有一个唯一的最小值解
    在这里插入图片描述

    【证明】
    在这里插入图片描述

    共轭方向

    1. 共轭的定义
    (1)向量的正交
    如果两个向量的内积运算结果为0,则说该两个向量是相互正交的。
    u T v = < u , v > = 0 u^Tv = <u,v> = 0 uTv=<u,v>=0

    (2)相互共轭
    定义一个正定阵A,如果两个向量u和v满足u和Av是正交的,则说向量u和v关于矩阵A是共轭的。
    u T A v = < u , A v > = 0 u^TAv = <u,Av> = 0 uTAv=<u,Av>=0
    特殊地,如果给定一组向量u1,u2,…,un,且有uiTAuj = 0(i≠j),则成这一组向量u1,u2,…,un是关于矩阵A相互共轭的;显然,关于同一矩阵共轭的一组向量一定是线性无关的。

    正交可以看做是共轭的一种特殊形式,当矩阵A取单位阵I时,uTAv = uTv.

    对于任意给定的一个正定阵A,一定可以找到关于其相互共轭的两个向量;在本章二阶收敛算法的讨论下,我们会使用该类特殊向量的方向作为搜索方向,不再使用梯度方向。

    2. 算法思想
    整体算法的框架与【最优梯度法】保持一致,只不过用共轭搜索方向来替换前者内部的梯度方向。

    3. 结论与定理

    • 定理:在最优化的每一步采用共轭方向作为搜索方向得到的算法是二阶收敛的。

    我们在最开始就说过,讨论【二阶收敛】,只需要验证该算法是否可以在有限步内找到一个正定二次函数的最优解
    在这里插入图片描述

    • 结论:通过上述的证明,不难发现,【初始点的选择】、【共轭搜索方向的排列顺序】对于算法都没有影响。

    4. 示例
    在这里插入图片描述

    本例中共轭的两个向量都是给出的,我们只是通过给出的条件,利用算法进行计算;后续会讲解如何求解出关于某一矩阵共轭的两个向量。


    共轭方向法

    共轭方向法是一类算法的总称,用于描述那些其所有搜索方向都是相互共轭的方法。我们可以通过对前面所讨论的算法诸如【最优梯度法】进行修改得到共轭方向法。
    共轭方向法的关键就是找到关于给定矩阵共轭的两个向量。

    1. 评价
    共轭梯度法介于最速下降法和牛顿法之间,仅需要利用一阶导数信息;客服了最速下降法“收敛速度慢”的缺点,同时也规避了牛顿法“存储和计算二阶导数,开销大”的缺点,是求解大型(非)线性最优化问题的最有效算法之一。

    • 无需矩阵存储
    • 有较快收敛速度
    • 二阶收敛性

    2. 一般共轭方向法
    在这里插入图片描述

    共轭梯度法

    共轭梯度算法是一个典型的共轭方向算法,它的每一个搜索方向是互相共轭的。而这些搜索方向dk是负梯度方向-gk与上一次迭代的搜索方向dk-1的组合。因此,存储量少,计算方便。
    d k = − g k + β k − 1 d k − 1 , 其 中 β 为 组 合 系 数 d_k = -g_k +β_{k-1}d_{k-1},其中β为组合系数 dk=gk+βk1dk1β

    1. FR共轭梯度算法(Fletcher-Reeves)
    在这里插入图片描述

    p.s. 之前我们讨论了共轭方向法针对正定二次函数是可以在有限步收敛到最优解的,但是上述的算法不仅适用于二次函数;
    因此第三步【用当前找到的点xn再替换原先的点x0,然后重新开始新的迭代】是必要的。

    这些算法在借助计算机实现的时候,会存在计算误差,因此即使求解一个正二次函数的优化问题,也可能存在“无法在有限步收敛”的可能性,因此上述算法的第三步是完全必要的。

    2. 简要理解
    上述算法对于任意函数都是可行的,我们可以借助正二次函数的特例对其中的共轭方向求解思想进行验证:
    在这里插入图片描述
    在上文的算法中,我们使用FR公式计算得到关于给定矩阵相互共轭的两个向量,也就是FR共轭梯度算法。

    3. 示例
    在这里插入图片描述
    4. 评价
    在每一轮迭代,虽然只用到了一阶导数的相关信息,但仍然需要对梯度进行计算,计算量依然较为复杂。


    Powell算法

    Powell算法的核心是希望:不求解梯度就能找到相互共轭的两个向量。

    它认为:如果两个点x1和x2是在不同的初始点沿着相同的搜索方向进行一维搜索找到两个向量,那么在二次函数的优化问题中,向量x2-x1就应该和向量v相互正交。

    1. 算法思想与框架
    在这里插入图片描述
    综上所述:对于一个n维的无约束优化问题,在给定的循环终止条件未满足的情况下,会持续进行轮次的迭代,每一轮迭代会进行n+1次一维优化搜索,第n+1次搜索会沿着xn-x0的方向进行,且用该新的方向【xn-x0】替换初始的v0搜索方向。

    2. 算法过程图解

    图源《深度理解Powell优化算法》

    在这里插入图片描述

    上面链接给出的博文对于Powell算法的理论以及优化过程都讨论得很详尽,需要深度理解Powell算法的读者可以戳进原博文中进行了解。

    3. 示例
    在这里插入图片描述


    拟牛顿法

    1. 算法思想概述

    牛顿法对于优化问题的成功应用是在于其利用了Hessan矩阵的曲率信息,但是计算Hessan矩阵的工作量很大,且不是所有目标函数都有Hessan矩阵,因此我们联想——
    能否仅仅利用目标函数值和一阶导数的信息,构造出目标函数的曲率近似值,从而加快【类牛顿法】的收敛速度。

    在这里插入图片描述
    2. FP拟牛顿法
    在这里插入图片描述

    展开全文
  • 把二维二阶椭圆问题的格林函数的双线性矩形元的逐点误差估计与一般二阶椭圆问题的一次线性元的超收敛性结合起来,对二维二阶椭圆问题的格林函数的双线性矩形元的超收敛性进行了研究,得到了相应的逐点误差估计.
  • 从带一个参数的三阶迭代族(其中包括 Halley迭代 ,Chebyshev迭代和超 Halley迭代)...在 Newton-Kantorovich型的假设条件下 ,通过用一个递推关系证明了此迭代族的三阶收敛性 ,并给出了非线性算子方程解的存在惟一性定理.
  • 研究二阶非线性差分方程xn+1=f(xn,xn-1) n=0,1,2,…的正解的收敛性,其中初始值x-1,x0∈(0,+∞).通过改变方程的条件,可得到每个非振荡的正解都收敛于平衡解x,每个振荡的正解都收敛于唯一的二周期解或每个...
  • 针对二阶积分器多智能体系统,提出了一类非光滑一致协议设计方法。首先,基于反步设计方法,将速度看成虚拟控制量,并设计虚拟速度,使得状态一致可以渐近达到。然后,基于有限时间控制方法设计控制律使得真实...
  • 牛顿迭代法收敛性的一点讨论 ...法是局部收敛的, 并且是二阶收敛的。这个附近指的是充分接近。要多接近呢?似乎没有进一步的证明。 这就决定了牛顿迭代法的初值选取非常重要,只有在解的附近选初值才

    牛顿迭代法收敛性的一点讨论

    今天在使用牛顿迭代法求方程的数值解时,发现其一会儿收敛,一会儿不收敛,于是认证研究了下牛顿迭代法的收敛条件。
    牛顿迭代法的收敛性分为局部收敛性与全局收敛性。
    **局部收敛性:**若α是f(x)=0的一个单根, f(α)=0,f’(α)≠0,ϕ’(α)=0, ϕ’’(α)=f’’(α)/f’(α), 则在根α附近Newton
    法是局部收敛的, 并且是二阶收敛的。这个附近指的是充分接近。要多接近呢?似乎没有进一步的证明。
    这就决定了牛顿迭代法的初值选取非常重要,只有在解的附近选初值才具有局部收敛性。可是证明去找解的附近呢?一种方法是先用二分法找一个大概的解,再用牛顿法求解。
    然而,对于某些函数,初值离解很远也能收敛,这就要谈到全局收敛性了。
    全局收敛性:
    设f(x)在有根区间[a, b]上二阶导数存在,且满足
    (1) f(a)f(b)<0;
    (2) f’(x)≠0, x∈[a, b];
    (3) f’’(x)不变号, x∈[a, b];
    (4)初值x0 ∈[a, b]且使f’’(x0) *f(x0)>0;
    则Newton迭代法收敛于f(x)=0在[a, b]内的惟一根。
    其中,条件(2)和(3)要求函数在区间内为凸或凹函数,条件(4)又规定了初值接近解的方向,算是比较苛刻的条件。以f(x)=lnx为例,若选择初值x0为4,则第一次迭代后的值x1为-1.505,超过了定义域,就不收敛了。
    在这里插入图片描述
    可如果初值选择0.5,则是收敛的。
    在这里插入图片描述

    展开全文
  • 给出一种新的,具有较大收敛域的 Newton迭代法和 Newton下山法...它不要求函数 f( x)存在二阶导数,只需要函数 f( x)存在一阶导数,便可根据文中定理对其收敛性进行判别,弥补了以往相关定理的不足,并通过数值例子给予验证.
  • 求解NSOCP的增广拉格朗日方法的局部收敛性分析,张思雨,刘陶文,本文研究求解非线性二阶锥规划问题(NSOCP)的增广拉格朗日函数方法, 证明了该方法在约束非退化条件和强二阶充分条件下具有局部收敛性
  • 例如由二阶线性常微分方程与二阶线性椭圆型方程的边值问题所得到的差分方程的收敛性与误差估计一般是利用极值原理或差分格林函数来处理的([1][2])。又如对线性偏微分方程初值问题的差分方程的收敛性一般是通过了稳定...
  • 本文的目的是使用MATLAB进行数值实验,以支持和验证Wang用L2投影方法求解二阶椭圆问题的有限元方法(CFEM)的超收敛性。 MATLAB代码已发布在https://github.com/annaleeharris/Superconvergence-CFEM,供任何人使用...
  • 基于非光滑的类二次型Lyapunov 函数, 对二阶滑模Super-twisting 算法的有限时间收敛性进行了分析. 当系 统受常值干扰时, 通过Lyapunov 方程证明了该算法有限时间收敛, 并给出了收敛时间的最优估计; 当系统受...
  • 为了提高多点切触加工算法的计算效率,对其中的Hermite算法进行了改进,并且对改进后的Hermite算法的收敛性进行了理论分析,推导了改进后算法的局部收敛条件,同时给出算法的Steffensen加速迭代公式并新提出了一种...
  • 讨论了无约束优化的伪Newton-δ秩1校正公式,证明了伪Newton-δ秩1校正公式是满足伪牛顿方程的唯一最优解和在目标函数满足二阶连续可微,其Hessian矩阵满足Lipschitz条件和在最优...δ秩1的线性收敛性和超线性收敛性
  • 在f(x)为二阶连续可微凸函数的条件下,证明了一种无记忆拟牛顿法的收敛性
  • 对一类广义对称正则长波(generalized symmetrical regularized long wave,GSRLW)方程的初边值问题进行了数值研究,提出了一个三层有限差分格式,并利用离散泛函分析方法分析了该格式的二阶收敛性与无条件稳定性,...
  • 给出了该方法的通用迭代过程,利用可靠度指标在标准正态空间中的几何意义,分别对极限状态面为凸、凹、平坦的情况,进行了该方法收敛性的证明,并提出了确定迭代步长的建议算法.通过实例,分析验证了该迭代方法的...
  • 随机变量列的四种收敛性

    千次阅读 2018-12-21 10:10:48
    极限定理是研究随机变量列的收敛性,在学习中遇到了随机变量列的四种收敛性:几乎处处收敛(a.e.收敛)、以概率收敛(P-收敛)、依分布收敛(d-收敛)、k阶矩收敛,下面是对它们的吐血整理。   考虑一个随机变量...
  • 介绍了一类不可微优化的次梯度算法,并结合文献[9],给出了次梯度算法的简化形式;通过引进二阶方向导数的概念,证明了不可微函数的...利用这些中值定理,借助文献[9]的证明方法,证明了一般的次梯度算法都具有线性收敛性.
  • 本文研究了求解非线性方程组的迭代解法,提出了一种调整步长牛顿法。证明了该算法在不同条件下的二阶收敛性和大范围收敛性。
  • 然后通过三自由度分离质量模型的模拟,验证了该方法的收敛性和其他算法性能。理论分析和数值模拟结果表明,该方法具有良好的稳定性和二阶精度,与直接积分方法相比更适合用于复杂结构的实时子结构试验及类似的并行
  • 给出了一个求解广义非线性互补问题的自适应信赖域方法 。在局部误差界的假设条件下,证明了算法具有全局收敛性和 Q-二阶收敛性
  • 基于比SCFO更复杂的特征方程(即二阶)证明了ECFO的收敛性差分方程。 用离散时间线性系统的稳定性理论进行分析粒子的运动方程。 稳定性条件将其特征值限制在复杂平面的单位周期内,并推导与ECFO参数有关的相应收敛...
  • 正则假设或拟一致条件是进行有限元理论分析的基本假设,本文在不满足该假设的条件下,采用一种更简便的方法给出了双线元在求解二阶问题时的超逼近结果;在此基础上,又得到了其在中心点的点态超收敛结果;最后的数值...
  • 针对一类线性广义系统,研究其P型迭代学习控制在离散频域中的收敛性态。在离散频域中,对广义系统进行奇异值分解后,利用傅里叶级数系数的性质和离散的Parseval能量等式,推演了一阶P型迭代学习控制律跟踪误差的离散...
  • Rung-Kutta法及单步法的收敛性和稳定性分析1. 引言2. Runge-Kutta法2.1 一阶RK方法2.2 二阶RK方法2.3 三阶RK方法2.4 四阶RK方法3. 单步法收敛性和稳定性3.1 收敛性3.2 相容性3.3 稳定性 1. 引言 在《数值分析(11):...
  • 梯度下降与随机梯度下降的收敛性分析我们常常使用梯度下降算法来训练机器学习模型, 常见的梯度下降算法分为三种:1 批量梯度下降(BGD): 每一次更新都使用所有的样本2 随机梯度下降(SGD): 每一次更新只使用一个样本3 ...
  • 提出了一类解非线性等式约束优化问题的修正正割方法。通过应用二阶校正技术改进搜索方向,修正由 Fotecilla 提出的产生二步超...证明了在合理的假设条件下该算法具有一步超线性收敛性。数据结果表明了本算法的有效性。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 9,840
精华内容 3,936
关键字:

二阶收敛性