精华内容
下载资源
问答
  • 收敛性分析
    千次阅读
    2021-03-30 22:20:27

    一:Lipschitz连续

    定义:对于在实数集的子集的函数f:D\subseteq \mathbb{R}\rightarrow \mathbb{R},若存在常数K,使得\left | f(a)-f(b) \right |\leq K\left | a-b \right |,\forall a,b\in D,则称函数f符合利普希茨条件。

    性质1:若函数f在定义域内满足Lipschitz连续,则有

                                                         f(y)\leq f(x)+\bigtriangledown f(x)^{T}(y-x)+\frac{M}{2}\left \| y-x \right \|^{2}                                                                        (1-1)                  

    二:梯度下降算法收敛性分析

    在求解优化问题时,我们常用梯度下降算法对目标函数进行寻优,求得优化问题的最优解或近似最优解。而在面对不同性质的目标函数时,如凸函数、强凸函数和非凸函数,梯度下降算法的收敛性会发生何种变化,都是值得去思考的一个问题。

    在此,我们首先讨论第一种情况,在优化问题的目标函数为强凸函数,且满足Lipschitz连续,采用梯度下降算法进行求解的算法收敛性分析如下:

    若目标函数f为强凸函数,且在定义域内Lipschitz连续。则有:

      Lipschitz连续性质:                   f(y)\leq f(x)+\bigtriangledown f(x)^{T}(y-x)+\frac{M}{2}\left \| y-x \right \|^{2}                                                                          (2-1)

    强凸函数性质                             f(y)\geq f(x)+\bigtriangledown f(x)^{T}(y-x)+\frac{m}{2}\left \| y-x \right \|^{2}                                                                          (2-2)

    显然,结合公式(2-1)与公式(2-2),我们可得:

                                          \frac{m}{2}\left \| y-x \right \|^{2}\leq f(y)-f(x)-\bigtriangledown f(x)^{T}(y-x)\leq\frac{M}{2}\left \| y-x \right \|^{2}                                                            (2-3)

    此外,采用梯度下降的更新公式为x^{(k+1)}=x^{(k)}-\bigtriangledown f(x^{(k)})t,我们令y=x^{(k+1)},x=x^{(k)}代入公式(2-1)可得:

                                     f(x^{(k+1)})-f(x^{(k)})\leq \bigtriangledown f(x^{(k)})(x^{(k+1)}-x^{(k)})+\frac{M}{2}\left \| x^{(k+1)}-x^{(k)} \right \|^{2}

                                                                       \leq -\left \| \bigtriangledown f(x^{(k)}) \right \|^{2}t+\frac{M}{2}\left \| \bigtriangledown f(x^{(k)}) \right \|^{2}t^{2}                                                                  (2-4)

    且当t=\frac{1}{M}时,不等式右侧取极值,步长取为\left \| \bigtriangledown f(x) \right \|^{2}的上届值的倒数,即精确搜索法(采用回溯搜索法,步长0\leq t\leq \frac{1}{M})代入公式(2-4)可得:

                                                         f(x^{(k+1)})-f(x^{(k)})\leq -\frac{1}{2M}\left \| \bigtriangledown f(x^{(k)}) \right \|^{2}                                                                             (2-5)

    对于公式(2-2),我们考虑公式右侧关于y的二次函数g(y),当y=x-\frac{1}{m}\bigtriangledown f(x)时取极值,并进一步的变形可得:

                                                                     f(y)\geq f(x)-\frac{1}{2m}\left \| \bigtriangledown f(x) \right \|^{2}                                                                                     (2-6)

    y=x^{(k+1)},x=x^{(k)},代入可得:

                                                            f(x^{(k+1)})\geq f(x^{(k)})-\frac{1}{2m}\left \| \bigtriangledown f(x^{(k)}) \right \|^{2}                                                                             (2-7)

    结合公式(2-5)与公式(2-7)可得:

                                           -\frac{1}{2m}\left \| \bigtriangledown f(x^{(k)}) \right \|^{2}\leq f(x^{(k+1)})-f(x^{(k)})\leq -\frac{1}{2M}\left \| \bigtriangledown f(x^{(k)}) \right \|^{2}                                                     (2-8)

    对于不等式(2-8)右侧,我们同时减去最优值p^{*},同等变形可得:

                                                       f(x^{(k+1)})-p^{*}\leq f(x^{(k)})-p^{*}-\frac{1}{2M}\left \| \bigtriangledown f(x^{(k)}) \right \|^{2}                                                                (2-9)

    对不等式(2-8)左侧变形可得:

                                       f(x^{(k)})-p^{*}\leq \frac{1}{2m}\left \| \bigtriangledown f(x^{(k)}) \right \|^{2}\Rightarrow \left \| \bigtriangledown f(x^{(k)}) \right \|^{2}\geq 2m(f(x^{(k)})-p^{*})                                              (2-10)

    讲公式(2-10)代入公式(2-9)可得:

                                                      f(x^{(k+1)})-p^{*}\leq f(x^{(k)})-p^{*}-\frac{m}{M}(f(x^{(k)})-p^{*})

                                                      f(x^{(k+1)})-p^{*}\leq (1-\frac{m}{M})(f(x^{(k)})-p^{*})                                                                                (2-11)

    我们可以发现第k+1次与第k次更新与最优值的差值成等比关系,假设经过T次迭代,则有:

                                                     f(x^{(T)})-p^{*}\leq (1-\frac{m}{M})^{T}(f(x^{(0)})-p^{*})                                                                                  (2-12)
    显然1-\frac{m}{M}< 1,当T\rightarrow \infty时,f(x^{(T)})\rightarrow p^{*},因此算法能够收敛。此外,当f(x^{(T)})-p^{*}\leq (1-\frac{m}{M})^{T}(f(x^{(0)})-p^{*})\leq \epsilon时,有:

                                                                 (1-\frac{m}{M})^{T}(f(x^{0})-p^{*})\leq \epsilon                                                                                           

                                                  \frac{1}{(1-\frac{m}{M})^{T}}\geq \frac{f(x^{(0)})-p^{*}}{\epsilon }\Rightarrow T\geq {log_{\frac{1}{1-\frac{m}{M}}}}^{\frac{f(x^{(0)})-p^{*}}{\epsilon }}

                                                                        T\geq \frac{log^{\frac{f(x^{(o)})-p^{*}}{\epsilon }}}{log^{\frac{1}{1-\frac{m}{M}}}}                                                                                                     (2-13)

    即此时的迭代次数T=O(log\frac{1}{\epsilon }).

    此外,梯度下降的收敛性质是由目标函数决定的。当目标函数为强凸函数时,收敛速度为线性的。若是为凸函数和非凸函数,梯度下降的收敛性将变差。此外可以通过对步长的设置来加快算法的收敛。

    更多相关内容
  • 可满足性问题中信念传播算法的收敛性分析
  • 虽然文化算法已被广泛应用于解决各个领域的优化问题, 但与其收敛能力相关的理论分析还比较缺乏. 为 此, 针对传统文化算法, 应用有限状态Markov 链来分析文化算法的搜索过程, 进一步使用公理化模型深入研究了种 群...
  • 使用MATLAB手打k-means聚类函数,通过矩阵运算提高运行速度,带有详细注释。 样本点归类过程提供循环方式和矩阵计算方式,后者耗时和pdist2...压缩包中附带K-means聚类实现原理介绍及收敛性分析文件(readme.pdf)。
  • 严格分析了一些基本的动力学特性,包括有界性,全局吸引性,稳定性和完全收敛性。 本文的主要贡献如下:(1)验证了新模型的有界性,并推导了整体吸引力的条件。 (2)求出平衡点渐近稳定的条件。 (3)通过构造新...
  • 为了研究蝙蝠算法的收敛性,本文基于随机搜索算法的全局收敛性判断准则对蝙蝠算法的收敛性进行了分析,并通过仿真实验进行了验证.结果表明,蝙蝠算法不完全满足随机搜索优化算法的2个全局收敛准则,无法确保全局...
  • 一类计算智能方法的收敛性分析
  • 针对从自然界中杂草的生长繁殖特性演化而来的新型智能优化算法―扩张性杂草进化算法,通过马尔可夫链,分析证明了它的全局收敛性。相比其他启发式算法,其最大优点是基于种群中优秀的个体有指导地进行搜索,且算法中子代...
  • 文中研究非Newton(牛顿)流体流变问题的混合型双曲抛物一阶偏微分方程的收敛性,采用耦合的偏微分方程组(Cauchy流体方程、P-T/T应力方程),模拟自由表面元或由过度拉伸元素产生的流域。使用半离散有限元方法进行求解,...
  • 将与不等式约束相关的乘子重新定义为原乘子的正定函数,则Karush-Kuhn-Tucker必要条件中关于不等式约束乘子的非负...分析了算法的收敛性,利用LaSalle不变集原理揭示其稳定机制,并讨论如何减弱收敛条件和扩大收敛域.
  • 不适定积分方程的加速期望最大化算法的收敛性分析
  • 奇异摄动问题SIPG方法的\高阶一致收敛性分析,祝鹏,杨宇博,在~Shishkin~网格上分析了高阶~SIPG~方法求解一维对流扩散型奇异摄动问题的一致收敛性. 取~$k(kgeq1)$~次分片多项式和网格剖分单元数为~$N$~�
  • 中国区域互联网发展水平测度与收敛性分析.pdf
  • 针对一类非线性系统的多变量线性扩张状态观测器及其收敛性分析
  • 有关蚁群优化算法收敛性分析的研究还很少,不利于进一步改进其算法.为此, 较详细地分析了用蚁群优化算法求解TSP问题的收敛性,证明了当0</p>
  • 中国工业环境效率及其空间差异的收敛性分析--基于地级城市面板数据的分析,张子龙,薛冰,本文利用超效率数据包络分析方法,基于可持续发展工商理事会(WBCSD)的环境效率概念,构建了工业环境效率评价模型,分析了...
  • 利用随机过程理论, 对人工蜂群算法收敛性进行理论分析, 给出人工蜂群算法的一些数学定义和蜜源位置 的一步转移概率, 建立人工蜂群算法的Markov 链模型, 分析此Markov 链的一些性质, 论证了人工蜂群状态序列是有...
  • 混合型优化算法的全局收敛性分析,王艺鹏,辛斌,混合策略是一种常见的优化算法改进策略,尤其适用于特定类型的复杂问题求解。过去二十年内涌现了大量的混合型优化算法,这些算法
  • 将与不等式约束相关的乘子重新定义为原乘子的正定函数Karush-Kucker必要条件中关于不等式约束乘子的非负约束可以...分析了算法的收敛性,利用LaSalle 不变集原理揭示其稳定机制,并讨论如何减弱收敛条件和扩大收敛域.</p>
  • 最优保留GA (EGA )是目前GA 收敛性研究中比较典型的一类。在已有研究成果的基础上给 出了EGA 更一般的规范化定义, 指明了 EGA 全局收敛的本质及其两种...了收敛性分析。最后提出一种变形的全局收敛的 EGA。</p>
  • 为了提高蚁群算法的收敛速度和求解精度,根据仿生优化算法在...通过对蚁群系统马尔科夫过程进行分析,证明了该算法的全局收敛性.针对典型的TSP 问题进行仿真对比实验,验证了该算法在速度和精度方面优于传统蚁群算法.</p>
  • 警示传播算法(WP)作为信息传播算法的基本模型,分析WP算法的收敛性对于研究其他信息传播算法的收敛性具有重要意义,分析了WP算法收敛性与结构熵之间的关系,给出WP算法收敛的判定条件。通过实验分析,该方法有效...
  • 用随机过程论中的马尔克夫链理论研究了几种遗传算法的收敛性.提出了6个引理,3个定理和3个推论,证明了最优保存遗传算法和作者提出的2种新型遗传算法:模拟生物种族进化的遗传算法,带罗盘算法的GA是全局收敛的,而...
  • 大规模优化的异步分布式ADMM-第一部分:算法和收敛性分析
  • 基于最小二乘拟合的网络迭代学习控制系统收敛性分析
  • 目前现有的大多算法不能同时具备与算法对应的信息准则,以及收敛性、自稳定性和多个广义次成分提取的性能.针对上述问题,利用一种新的信息传播规则,推导出一种广义次成分提取算法,并采用确定离散时间方法...
  • 通过改变变量法建立了一类广义拟补问题与 Wiener-Hopf方程的等价关系。运用该等价关系,研究了广义相补问题的迭代算法以及收敛性分析,推广了文献中的相应结果。
  • 提出一种自稳定的双目的算法用以提取信号自相关矩阵的特征对....基于确定性离散时间方法对所提出的算法进行收敛性分析,并确定算法收敛的边界条件.与已有算法对比的仿真实验验证了所提出算法的收敛性能.
  • 本文利用最小二乘理论研究学习理论中的回归问题...其目的在于利用概率不等式与神经网络的逼近性质来分析回归学习算法的误差.结论表明,当回归函数满足一定的光滑时,得到较为紧的上界且该上界与输入空间的维数无关.
  • 贝叶斯博弈多目标进化算法及其收敛性分析

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 75,509
精华内容 30,203
关键字:

收敛性分析

友情链接: seminar ppt.rar