精华内容
下载资源
问答
  • 2019-09-14 21:33:11

    动量梯度下降法是对梯度下降法的一种优化算法,该方法学习率可以选择更大的值,函数的收敛速度也更快。
    梯度下降法就像下面这张图,通过不断的更新 w与b,从而让函数移动到红点,但是要到达最优解,需要我们不断的迭代或者调整学习率来达到最后到达最优解的目的。
    但是调大学习率会导致每一次迭代的步长过大,也就是摆动过大,误差较大。调小学利率会让迭代次数增加。而增加迭代次数则明显的增加了训练时间。
    动量梯度下降法不但能使用较大的学习率,其迭代次数也较少
    在这里插入图片描述

    一、指数加权和

    在理解动量梯度下降法之前,我们首先要了解指数加权平均数,这是动量梯度下降法的核心。

    那么,什么是指数加权平均数呢,我们这里举例说明。

    下面是一个同学的某一科的考试成绩: 平时测验 80, 期中 90, 期末 95 学校规定的科目成绩的计算方式是: 平时测验占

    更多相关内容
  • 在人工智能算法中,最终的目标都是找到一个最优的模型,而如何找到这个最优模型的参数一般有两种方法:第一就是...其中最有名和最普遍的有批量梯度下降法(BGD),随机梯度下降法(SGD),小批量梯度下降法。 上面三种梯度...

    在人工智能算法中,最终的目标都是找到一个最优的模型,而如何找到这个最优模型的参数一般有两种方法:第一就是等式求解,这个只对一部分简单的模型有效果,当模型的复杂度上升和参数变多时,求解将会变的极其困难,甚至不存在等式解。所以那么这里也就有第二种方法:梯度求解,这是一种利用梯度来一步步接近最优解。其中最有名和最普遍的有批量梯度下降法(BGD),随机梯度下降法(SGD),小批量梯度下降法。

    上面三种梯度下降我就不再细讲,本质都是一样的,只不过每次更新利用的数据数量不一样,批量梯度下降每次优化时,使用的都是全部的数据集,所以计算量大,所以当数据量太大时,算法收敛的速度会很慢,但是他可以保证每次都朝着最优点的方向下降,不易受噪声的干扰。随机梯度下降则是每一次都使用一个数据来进行下降,所以他的下降过程震荡会很明显,但是收敛速度会很快,而且经实验证明他会朝着最优点收敛。小批量随机梯度下降则是结合了前两个算法的优点,收敛速度快且受噪声的影响较小。

    1. List item

    动量下降法(Momentum)
    这里重点介绍一下动量下降法,他的更新公式:
    ut = γut−1 + ηgt
    wt+1 =wt −ut.
    上面的两个公式,如果γ=0,那么这就是一个SGD,当γ>0,那么他就是动量下降法,他有以下的优点:

    • 他可以通过局部的障碍,比如局部极小点,这个原理很简单,观察上面的公式可知,当梯度方法发生改变时,由于前面动量的存在γut−1,整体更新的梯度的方向不会发生变化,还将继续朝原来的梯度方向更新,也就会跳过局部极小点。
    • 而当梯度变化的不是很大,那么ut−1约等于ut ,所以第一个公式,就将变成在这里插入图片描述从而加大了原来的梯度,从而加快收敛。
    • 还有就是他将更加平稳的通过窄小的山谷,这个可以通过平均值角度来解读,由于上下震荡,那么就会有上下的梯度分量,由于我们公式里使用到了加权平均前后的梯度,所以上下的梯度会出现抵消的状况,从而在上下震荡的情况得到极大抑制。如下图
      在这里插入图片描述

    2.Adam下降法
    他的更新公式为:
    在这里插入图片描述
    上面的1式,就是动量下降法的第一个式子,优点那就是跟前面的一样,那么这里Adam的优点就是,这里的3式和4式了,这里用到了梯度的平方,然后根据第5式,这个是对学习率的一个更新,根据3式可知,在学习过程中,随着梯度的累加,vt 将会增加,那么学习率也将逐渐的变小,从而减轻在最优点附近震荡。这和我们的直觉也是一致的,当离得最优点较远的时候,学习率应当大一些从而加快学习,而当离最优点较近时,则学习率应当更小一些,从而更好的找到最优点。在这里插入图片描述

    展开全文
  • 动量梯度下降(Gradient descent with momentum)详解 关于动量梯度下降,其作用普通的梯度下降是差不多的。但是在普通的梯度下降中,如果遇到了比较复杂的情况,就会出现:如果学习率过大,摆动过大,误差较大;如果...

    动量梯度下降(Gradient descent with momentum)详解

    关于动量梯度下降,其作用普通的梯度下降是差不多的。但是在普通的梯度下降中,如果遇到了比较复杂的情况,就会出现:如果学习率过大,摆动过大,误差较大;如果学习率过小,又会使得迭代次数增加,学习时间会很长。在神经网络模型中就常常会遇到上面这些情况的,总是会出现解一种在小范围震荡而很难达到最优解的情况。
    而动量梯度则可以比较好的避免上述问题。它的过程类似于一个有质量的小球在函数曲线上向下滚落。当球滚到最低点后,由于具有惯性还会继续上升一段,然后再滚落回来,再经过最低点上去…最终小球就停留到最低点处。而且由于小球具有惯性这一点,当函数曲线或曲面比较陡峭复杂时,它便可以越过这些而尽快地达到最低点。

    算法原理
    一般在其它文章中会讲到指数加权平均数的概念。不过兔兔觉得在这里即使不讲这一概念,应该也是可以的。
    我们还是以一元函数求最小值为例。
    对于一个一元函数f(x),其导数为f’(x),我们设初始值为x0,根据之前讲过的普通的梯度下降公式,有迭代公式:x0=x0-f’(x0)。迭代多次便可以得到极小值点x0。
    在动量梯度下降中,我们同样随机选一个初始值x0。这里除了之前用到的学习率alpha,还需要引入另一个参数beta,通常beta=0.9,类似于小球滚落时受到的摩擦阻力(有的文章会讲到beta与指数加权平均数的关系,不过这里即使不了解这里概念也是可以的)。
    (1)令v=β.x0+(1-β).f’(x0)
    (2)x0=x0-α.v 此时第一次更新x0
    (3)v=β. v +(1-β).f’(x0)
    (4)x0=x0-α.v
    第一步主要是由x0初始化v,之后就是步骤3,4一直交替操作。其中式子3是每次更新v,等式右边的v是上一步得到的v,等式左边是新得到的v,然后在下一步操作中再代入等式右侧。所以式子可以写成
    v(i+1)=β .v(i) +(1-β).f’(x(i))
    式子4 是更新x0,更新后的x0需要代入下一次循环中的式子(3)右侧以及式子(4)的右侧。

    算法实现
    我们以函数f(x)=sin(x)为例。其导数是cos(x)。

    import numpy as np
    import matplotlib.pyplot as plt
    def f(x):
        return np.sin(x)
    def df(x):
        return np.cos(x)
    x0=1 #初始化x0为1
    alpha=0.7
    beta=0.9
    v=x0 #初始时令v=x0
    for i in range(80):
        x=np.arange(-5,5,0.1)
        y=f(x)
        plt.plot(x,y,color='blue') #画函数曲线
        plt.scatter(x0, f(x0), color='red') #画出极小值点对于再函数曲线上的点
        v=beta*v+(1-beta)*df(x0) #更新v
        x0=x0-alpha*v #更新x0
        plt.pause(0.2)
    

    运行结果如下
    图1
    可以看到小球在不断震荡,最终下降到最低点。如果小球位置很高,摩擦力比较小,小球是可以越过几个”山包“并在其中一个山谷里面震荡并达到,感兴趣的同学们可以试一下的。而且关于参数alpha 与 beta对小球梯度下降的影响,同学们也是可以尝试一下的。

    总结
    动量梯度下降作为一种梯度下降算法,能够比较好的解决普通的梯度下降所产生的问题,在很多模型中都是可以采用的,而且有时也是可以产生很好的效果的。

    
    
    
    展开全文
  • 采用动量梯度下降算法训练 BP 网络 matlab代码
  • 动量梯度下降法(gradient descent with momentum)

    万次阅读 多人点赞 2018-10-28 10:57:35
    对梯度下降法不熟悉的可以参考梯度下降法,理解梯度下降法是理解动量梯度下降法的前提,除此之外要搞懂动量梯度下降法需要知道原始方法在实际应用中的不足之处,动量梯度下降法怎样改善了原来方法的不足以及其具体的...

    简介

    动量梯度下降法是对梯度下降法的改良版本,通常来说优化效果好于梯度下降法。对梯度下降法不熟悉的可以参考梯度下降法,理解梯度下降法是理解动量梯度下降法的前提,除此之外要搞懂动量梯度下降法需要知道原始方法在实际应用中的不足之处,动量梯度下降法怎样改善了原来方法的不足以及其具体的实现算法。依次从以下几个方面进行说明:

    • 小批量梯度下降法(mini-batch gradient descent)
    • 指数加权平均(exponential weight averages)
    • 动量梯度下降法(gradient descent with momentum)

    总结一下他们之间的关系:每次梯度下降都遍历整个数据集会耗费大量计算能力,而mini-batch梯度下降法通过从数据集抽取小批量的数据进行小批度梯度下降解决了这一问题。使用mini-batch会产生下降过程中左右振荡的现象。而动量梯度下降法通过减小振荡对算法进行优化。动量梯度下降法的核心便是对一系列梯度进行指数加权平均,下面时详细介绍。


    1 mini-batch梯度下降法

    在实际应用中,由于样本数量庞大,训练数据上百万是很常见的事。如果每执行一次梯度下降就遍历整个训练样本将会耗费大量的计算机资源。在所有样本中随机抽取一部分(mini-batch)样本,抽取的样本的分布规律与原样本基本相同,事实发现,实际训练中使用mini-batch梯度下降法可以大大加快训练速度。

    1.1 实现方法

    mini-batch梯度下降法的思想很简单,将样本总体分成多个mini-batch。例如100万的数据,分成10000份,每份包含100个数据的mini-batch-1到mini-batch-10000,每次梯度下降使用其中一个mini-batch进行训练,除此之外和梯度下降法没有任何区别。

    1.2 直观体验

    区别
    由于mini-batch每次仅使用数据集中的一部分进行梯度下降,所以每次下降并不是严格按照朝最小方向下降,但是总体下降趋势是朝着最小方向,上图可以明显看出两者之间的区别。

    对右边的图来说,动量梯度下降法并没有什么用处。梯度批量下降法主要是针对mini-batch梯度下降法进行优化,优化之后左右的摆动减小,从而提高效率。优化前后的对比如下图,可见动量梯度下降法的摆动明显减弱。
    momentum

    2 指数加权平均

    指数加权平均值又称指数加权移动平均值,局部平均值,移动平均值。加权平均这个概念都很熟悉,即根据各个元素所占权重计算平均值。指数加权平均中的指数表示各个元素所占权重呈指数分布。假设存在数列 { Q 1 , Q 2 , Q 3 , Q 4 . . . . . . . . . . . } \left \{ Q_1,Q_2,Q_3,Q_4........... \right \} {Q1,Q2,Q3,Q4...........}令: V 0 = 0 V_0=0 V0=0 V 1 = β V 0 + ( 1 − β ) Q 1 V_1=\beta V_0 + (1-\beta )Q_1 V1=βV0+(1β)Q1 V 2 = β V 1 + ( 1 − β ) Q 2 V_2=\beta V_1 + (1-\beta )Q_2 V2=βV1+(1β)Q2 V 3 = β V 2 + ( 1 − β ) Q 3 V_3=\beta V_2 + (1-\beta )Q_3 V3=βV2+(1β)Q3 . . . . . . . . .其中的 V 1 , V 2 , V 3 . . . . V_1,V_2,V_3.... V1,V2,V3....便称为该数列的指数加权平均。为了更好地理解指数两个字,我们展开 V 100 V_{100} V100中的所有 V V V(为了方便书写,令 β = 0.9 , 则 1 − β = 0.1 ) \beta = 0.9,则 1- \beta =0.1) β=0.9,1β=0.1得到: V 100 = 0.1 Q 100 + 0.1 ∗ 0.9 Q 99 + 0.1 ∗ 0. 9 2 Q 98 + 0.1 ∗ 0. 9 3 Q 97 + . . . . . . + 0.1 ∗ 0. 9 99 Q 1 V_{100} = 0.1Q_{100} + 0.1*0.9Q_{99} + 0.1*0.9^2Q_{98} + 0.1*0.9^3Q_{97} + ......+0.1*0.9^{99}Q_1 V100=0.1Q100+0.10.9Q99+0.10.92Q98+0.10.93Q97+......+0.10.999Q1观察各项前面的系数不难得到从 Q 1 到 Q 100 Q_1到Q_{100} Q1Q100各数权重呈指数分布。其权重大小如下图:
    在这里插入图片描述
    可以看出指数加权平均是有记忆平均,每一个 V V V都包含了之前所有数据的信息。

    3 动量梯度下降法

    回顾一下梯度下降法每次的参数更新公式: W : = W − α ∇ W W := W - \alpha \nabla W W:=WαW b : = b − α ∇ b b := b - \alpha \nabla b b:=bαb可以看到,每次更新仅与当前梯度值相关,并不涉及之前的梯度。而动量梯度下降法则对各个mini-batch求得的梯度 ∇ W , ∇ b \nabla W,\nabla b W,b使用指数加权平均得到 V ∇ w , V ∇ b V_{\nabla w },V_{\nabla b } VwVb。并使用新的参数更新之前的参数。

    例如,在100次梯度下降中求得的梯度序列为: { ∇ W 1 , ∇ W 2 , ∇ W 3 . . . . . . . . . ∇ W 99 , ∇ W 100 } \left \{ \nabla W_1 , \nabla W_2,\nabla W_3.........\nabla W_{99},\nabla W_{100} \right\} {W1,W2,W3.........W99,W100}则其对应的动量梯度分别为: V ∇ W 0 = 0 V_{\nabla W_0} = 0 VW0=0 V ∇ W 1 = β V ∇ W 0 + ( 1 − β ) ∇ W 1 V_{\nabla W_1} = \beta V_{\nabla W_0} + (1-\beta)\nabla W_1 VW1=βVW0+(1β)W1 V ∇ W 2 = β V ∇ W 1 + ( 1 − β ) ∇ W 2 V_{\nabla W_2} = \beta V_{\nabla W_1} + (1-\beta)\nabla W_2 VW2=βVW1+(1β)W2 . . . . . . . . . V ∇ W 100 = β V ∇ W 99 + ( 1 − β ) ∇ W 100 V_{\nabla W_{100}} = \beta V_{\nabla W_{99}} + (1-\beta)\nabla W_{100} VW100=βVW99+(1β)W100使用指数加权平均之后梯度代替原梯度进行参数更新。因为每个指数加权平均后的梯度含有之前梯度的信息,动量梯度下降法因此得名。

    4 参考资料

    展开全文
  • 动量梯度下降算法

    千次阅读 2020-03-09 01:35:03
    上篇文章介绍了指数加权平均,这篇文章介绍在此基础上介绍一下动量梯度下降算法。 所谓动量梯度下降算法,简言之就计算梯度的指数加权平均,然后使用这个梯度来更新权重,下面我们来详细解释这句话。 我们在使用...
  • 动量梯度下降(momentum)

    千次阅读 2020-08-15 12:01:56
    对梯度下降法不熟悉的可以参考梯度下降法,理解梯度下降法是理解动量梯度下降法的前提,除此之外要搞懂动量梯度下降法需要知道原始方法在实际应用中的不足之处,动量梯度下降法怎样改善了原来方法的不足以及其具体的...
  •  动量梯度下降也是一种神经网络的优化方法,我们知道在梯度下降的过程中,虽然损失的整体趋势是越来越接近0,但过程往往是非常曲折的,如下图所示:  特别是在使用mini-batch后,由于单次参与训练的图片少了...
  • %例1 采用动量梯度下降算法训练 BP 网络。
  • 动量梯度下降法Momentum

    千次阅读 2019-03-01 16:26:36
    动量梯度下降法是对梯度下降法的一种优化算法,该方法学习率可以选择更大的值,函数的收敛速度也更快。梯度下降法就像下面这张图,通过不断的跟新w与b,从而让函数移动到红点,但是要到达最优解,需要我们不断的迭代...
  • 动量梯度下降算法训练BP网络 使用的主要函数如下: NEWFF——生成一个新的前向神经网络 TRAIN——对BP神经网络进行训练 SIM——对BP神经网络进行仿真
  • momentum SGD(动量梯度下降

    千次阅读 2019-02-26 16:38:14
    1.... 红色表示SGD的收敛路径,棕色...普通的GD算法就是计算出每一时刻最陡的下降趋势(梯度),SGD在随机挑选某一分量的梯度方向进行收敛,详细解释可继续往下看。 2. SGD公式理解 注:这一...
  • 动量梯度下降

    2022-03-12 09:35:11
    当我们使用BGD或mini-batch算法时,我们会发现梯度的下降如上图所示是来回起伏的,这样在计算到最小值时仍然需要一定的时间,现在想要消除减缓这个波动,就用到了动量梯度下降法。 一般β取0.9,这和我们之前提过的...
  • 【翻译自 : Gradient Descent With Nesterov Momentum From Scratch】 【说明:Jason BrownleePhD大神的文章个人很喜欢,所以闲暇时间里会做一点翻译和学习实践的工作,这里是相应工作的实践记录,希望...动量是...
  • 动量梯度下降法: Gradient Descent With Momentum 1.指数加权移动平均: 2.指数加权平均的偏差修正: 如图所示:紫色图为这些点集的加权平均,但很显然在刚开始的时候,加权平均不能很好估测数据。所以...
  • 优化算法2.1 动量梯度下降法2.1.1 动量梯度下降法的代码实现2.2 RMSprop2.2.1RMSprop的代码实现2.3 Adam优化算法2.3.1 Adam优化算法的代码实现 1. 算法之前的预备知识 1.1 指数加权平均 我们先通过吴恩达老师...
  • 2.2.3 动量梯度下降

    千次阅读 2018-04-23 22:24:51
    动量梯度下降法 我们现在介绍一下Momentum梯度下降法,运行速度快于标准的梯度下降法。其基本思想就是计算梯度的指数加权平均数,并利用该梯度来更新权重。 如图所示,图中蓝色的代表batch或者mini-batch的梯度...
  • 神经网络的动量梯度下降算法 神经网络的训练算法
  • 动量梯度下降法(Gradient descent with Momentum) 还有一种算法叫做Momentum,或者叫做动量梯度下降法,运行速度几乎总是快于标准的梯度下降算法,简而言之,基本的想法就是计算梯度的指数加权平均数,并利用该...
  • 对梯度下降法不熟悉的可以参考梯度下降法,理解梯度下降法是理解动量梯度下降法的前提,除此之外要搞懂动量梯度下降法需要知道原始方法在实际应用中的不足之处,动量梯度下降法怎样改善了原来方法的不足以及其具体的...
  • 动量梯度下降法详解

    千次阅读 2019-04-25 16:49:54
    对梯度下降法不熟悉的可以参考梯度下降法,理解梯度下降法是理解动量梯度下降法的前提,除此之外要搞懂动量梯度下降法需要知道原始方法在实际应用中的不足之处,动量梯度下降法怎样改善了原来方法的不足以...
  • 训练BP神经网络:采用动量梯度下降算法训练BP网络,训练样本
  • 理解梯度下降算法中的动量 在深度学习优化算法中,常用的梯度下降算法中一般会有一个参数 —— 动量(momentum)。此文章记录动量算法的原理,以及使用它的目的。 N.B. 此处的梯度下降算法是广义的,包括一般我们...
  • 在这篇文章中,由于有大量的资源可以解释梯度下降,因此,我想在视觉上引导您了解每种方法的工作原理。借助我构建的梯度下降可视化工具,希望我可以为您提供一些独特的见解,或者至少提供许多GIF。 这里的重点是比较...
  • 应该用梯度下降,随机梯度下降,还是Adam方法?这篇文章介绍了不同优化算法之间的主要区别,以及如何选择最佳的优化方法。优化算法的功能,是通过改善训练方式,来最小化(或最大化)损失函数E(x)。模型内部有些参数,...
  • 随机梯度下降动量详解

    千次阅读 多人点赞 2018-05-23 15:18:33
    随机梯度下降主要用来求解类似于如下求和形式的优化问题: f(x)=∑i=1nfi(w,xi,yi)f(x)=∑i=1nfi(w,xi,yi) f(x) = \sum_{i=1}^nf_i(w,x_i,y_i) 普通梯度下降算法: wt+1=wt−ηt+1∇f(wt)=wt−ηt+1∑i=1n∇fi...
  • 梯度下降是机器学习中用来使模型逼近真实分布的最小偏差的优化方法。 在普通的随机梯度下降和批梯度下降当中,参数的更新是按照如下公式进行的: W = W - αdW b = b - αdb 其中α是学习率,dW、db是cost ...
  • momentum(动量梯度下降法)

    千次阅读 2019-09-10 16:48:35
    momentum(动量梯度下降法) momentum是模拟物理里动量的概念,积累之前的动量来替代真正的梯度。公式如下: 然而网上更多的是另外一种版本,即去掉(1-β),相当于上一版本上本次梯度的影响权值*1/(1-β),...
  • 带有动量的梯度下降的优势

    千次阅读 2018-07-13 14:13:23
    普通的梯度下降算法在寻找最优解的过程中会酱紫:可以看到是存在不断抖动的使用了带动量的梯度下降,由于梯度的计算使用了指数加权平均方法,使得本次梯度的计算和之前是有关联的,这样就能抵消比如梯度在上下摆动的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 14,057
精华内容 5,622
关键字:

动量下降

友情链接: 65954212lianliankan.rar