精华内容
下载资源
问答
  • AdamP:亚当-源码

    2021-03-18 20:19:43
    AdamP:降低比例不变权重的动量优化器的减慢速度(ICLR 2021) AdamP和SGDP优化器的PyTorch官方实施|| Byeongho许*,Sanghyuk春*,洪城俊哦,Dongyoon汉,尚道蕴,Gyuwan金,Youngjung嗯,正宇哈。 *表示相等的贡献...
  • 代码:https://github.com/clovaai/AdamP 摘要 诸如batch normalization(BN)等正则化技术已导致深度神经网络性能的显著改善。先前的研究已经分析了梯度下降(GD)优化器所产生的权重尺度不变的好处:由于步长的...

    论文:https://arxiv.org/pdf/2006.08217.pdf
    代码:https://github.com/clovaai/AdamP

    摘要

    诸如batch normalization(BN)等正则化技术已导致深度神经网络性能的显著改善。先前的研究已经分析了梯度下降(GD)优化器所产生的权重尺度不变的好处:由于步长的自动调整,它导致了稳定的训练。但是,我们表明,结合基于动量的算法,尺度不变性往往会导致权重规范的过度增长。这反过来又过度抑制了训练过程中的有效步长,可能会导致深度神经网络中的次优表现。我们在理论和经验上都分析了这种现象。我们提出了一种简单有效的解决方案:在对尺度不变权重(例如,BN层之前的Conv权重)应用基于动量的GD优化器(例如SGD或Adam)的每次迭代中,我们都会删除径向分量(即与权重平行)向量)。直观地,该操作防止了沿径向的不必要的更新,该更新仅增加了重量标准而无助于损失的最小化。我们验证修改后的优化器SGDP和AdamP成功正则了norm增长并改善了广泛模型的性能。我们的实验涉及的任务包括图像分类和检索,目标检测,鲁棒性基准测试和音频分类。

    使用方法

    使用方法,很简单,源码都已封装好,直接调用API替代原有优化器即可。
    先安装:

    pip3 install adamp
    

    其次调包使用:

    from adamp import AdamP
    
    # define your params
    optimizer = AdamP(params, lr=0.001, betas=(0.9, 0.999), weight_decay=1e-2)
    from adamp import SGDP
    
    # define your params
    optimizer = SGDP(params, lr=0.1, weight_decay=1e-5, momentum=0.9, nesterov=True)
    

    后面有时间尝试一下效果。
    好简单复制粘贴是不是?溜了溜了。。。。。。。。

    -------------------------------------更新时间2020.06.23 23:05------------------------------------------------------
    尝试了一下使用SGDP替代SGD,但是精度下降3,4个点。。。。。。。。。。。。。。。
    说明还是要看数据集的。。

    展开全文
  • 深度学习最全优化方法总结比较(SGD,Adagrad,Adadelta,Adam,Adamax,Nadam) ycszen ...(标题不能再中二了)本文仅对一些常见的优化方法进行直观介绍和简单的比...

    深度学习最全优化方法总结比较(SGD,Adagrad,Adadelta,Adam,Adamax,Nadam)

    1,652 人赞同了该文章

    前言

    (标题不能再中二了)本文仅对一些常见的优化方法进行直观介绍和简单的比较,各种优化方法的详细内容及公式只好去认真啃论文了,在此我就不赘述了。

    SGD

    此处的SGD指mini-batch gradient descent,关于batch gradient descent, stochastic gradient descent, 以及 mini-batch gradient descent的具体区别就不细说了。现在的SGD一般都指mini-batch gradient descent。

    SGD就是每一次迭代计算mini-batch的梯度,然后对参数进行更新,是最常见的优化方法了。即:

    [公式]

    [公式]

    其中,[公式]是学习率,[公式]是梯度 SGD完全依赖于当前batch的梯度,所以[公式]可理解为允许当前batch的梯度多大程度影响参数更新

    缺点:(正因为有这些缺点才让这么多大神发展出了后续的各种算法)

    • 选择合适的learning rate比较困难 - 对所有的参数更新使用同样的learning rate。对于稀疏数据或者特征,有时我们可能想更新快一些对于不经常出现的特征,对于常出现的特征更新慢一些,这时候SGD就不太能满足要求了

    • SGD容易收敛到局部最优,并且在某些情况下可能被困在鞍点【原来写的是“容易困于鞍点”,经查阅论文发现,其实在合适的初始化和step size的情况下,鞍点的影响并没这么大。感谢@冰橙的指正】

    Momentum

    momentum是模拟物理里动量的概念,积累之前的动量来替代真正的梯度。公式如下:

    [公式]

    [公式]

    其中,[公式]是动量因子

    特点:

    • 下降初期时,使用上一次参数更新,下降方向一致,乘上较大的[公式]能够进行很好的加速
    • 下降中后期时,在局部最小值来回震荡的时候,[公式][公式]使得更新幅度增大,跳出陷阱
    • 在梯度改变方向的时候,[公式]能够减少更新 总而言之,momentum项能够在相关方向加速SGD,抑制振荡,从而加快收敛

    Nesterov

    nesterov项在梯度更新时做一个校正,避免前进太快,同时提高灵敏度。 将上一节中的公式展开可得:

    [公式]

    可以看出,[公式]并没有直接改变当前梯度[公式],所以Nesterov的改进就是让之前的动量直接影响当前的动量。即:

    [公式]

    [公式]

    [公式]

    所以,加上nesterov项后,梯度在大的跳跃后,进行计算对当前梯度进行校正。如下图:

    momentum首先计算一个梯度(短的蓝色向量),然后在加速更新梯度的方向进行一个大的跳跃(长的蓝色向量),nesterov项首先在之前加速的梯度方向进行一个大的跳跃(棕色向量),计算梯度然后进行校正(绿色梯向量)

    其实,momentum项和nesterov项都是为了使梯度更新更加灵活,对不同情况有针对性。但是,人工设置一些学习率总还是有些生硬,接下来介绍几种自适应学习率的方法

    Adagrad

    Adagrad其实是对学习率进行了一个约束。即:

    [公式]

    [公式]

    此处,对[公式]从1到[公式]进行一个递推形成一个约束项regularizer,[公式][公式]用来保证分母非0

    特点:

    • 前期[公式]较小的时候, regularizer较大,能够放大梯度
    • 后期[公式]较大的时候,regularizer较小,能够约束梯度
    • 适合处理稀疏梯度

    缺点:
    • 由公式可以看出,仍依赖于人工设置一个全局学习率
    • [公式]设置过大的话,会使regularizer过于敏感,对梯度的调节太大
    • 中后期,分母上梯度平方的累加将会越来越大,使[公式],使得训练提前结束

    Adadelta

    Adadelta是对Adagrad的扩展,最初方案依然是对学习率进行自适应约束,但是进行了计算上的简化。 Adagrad会累加之前所有的梯度平方,而Adadelta只累加固定大小的项,并且也不直接存储这些项,仅仅是近似计算对应的平均值。即:

    [公式]

    [公式]

    在此处Adadelta其实还是依赖于全局学习率的,但是作者做了一定处理,经过近似牛顿迭代法之后:

    [公式]

    [公式]

    其中,[公式]代表求期望。

    此时,可以看出Adadelta已经不用依赖于全局学习率了。

    特点:

    • 训练初中期,加速效果不错,很快
    • 训练后期,反复在局部最小值附近抖动

    RMSprop

    RMSprop可以算作Adadelta的一个特例:

    [公式]时,[公式]就变为了求梯度平方和的平均数。

    如果再求根的话,就变成了RMS(均方根):

    [公式]

    此时,这个RMS就可以作为学习率[公式]的一个约束:

    [公式]

    特点:

    • 其实RMSprop依然依赖于全局学习率
    • RMSprop算是Adagrad的一种发展,和Adadelta的变体,效果趋于二者之间
    • 适合处理非平稳目标 - 对于RNN效果很好

    Adam

    Adam(Adaptive Moment Estimation)本质上是带有动量项的RMSprop,它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。Adam的优点主要在于经过偏置校正后,每一次迭代学习率都有个确定范围,使得参数比较平稳。公式如下:

    [公式]

    [公式]

    [公式]

    [公式]

    [公式]

    其中,[公式][公式]分别是对梯度的一阶矩估计和二阶矩估计,可以看作对期望[公式][公式]的估计;[公式][公式]是对[公式][公式]的校正,这样可以近似为对期望的无偏估计。 可以看出,直接对梯度的矩估计对内存没有额外的要求,而且可以根据梯度进行动态调整,而[公式]对学习率形成一个动态约束,而且有明确的范围。

    特点:

    • 结合了Adagrad善于处理稀疏梯度和RMSprop善于处理非平稳目标的优点
    • 对内存需求较小
    • 为不同的参数计算不同的自适应学习率
    • 也适用于大多非凸优化 - 适用于大数据集和高维空间

    Adamax

    Adamax是Adam的一种变体,此方法对学习率的上限提供了一个更简单的范围。公式上的变化如下:

    [公式]

    [公式]

    可以看出,Adamax学习率的边界范围更简单

    Nadam

    Nadam类似于带有Nesterov动量项的Adam。公式如下:

    [公式]

    [公式]

    [公式]

    [公式]

    [公式] [公式]

    [公式]

    可以看出,Nadam对学习率有了更强的约束,同时对梯度的更新也有更直接的影响。一般而言,在想使用带动量的RMSprop,或者Adam的地方,大多可以使用Nadam取得更好的效果。

     

    RAdam中的“整流器”:

    考虑到热身是一种方差衰减器,但所需的热身程度是未知的,而且数据集之间是不同的,因此,作者决定用一种数学算法来作为一种动态方差衰减器。因此,他们构建了一个整流器项,这允许自适应动量作为一个潜在的方差的函数缓慢但稳定地得到充分表达。他们的完整模型是这样的:

     

     

     

    经验之谈

    • 对于稀疏数据,尽量使用学习率可自适应的优化方法,不用手动调节,而且最好采用默认值
    • SGD通常训练时间更长,但是在好的初始化和学习率调度方案的情况下,结果更可靠
    • 如果在意更快的收敛,并且需要训练较深较复杂的网络时,推荐使用学习率自适应的优化方法。
    • Adadelta,RMSprop,Adam是比较相近的算法,在相似的情况下表现差不多。
    • 在想使用带动量的RMSprop,或者Adam的地方,大多可以使用Nadam取得更好的效果

    最后展示两张可厉害的图,一切尽在图中啊,上面的都没啥用了... ...

     

    损失平面等高线

     

     

    在鞍点处的比较

     

    转载须全文转载且注明作者和原文链接,否则保留维权权利

     

     

    Adam 自出道以来,就一直是最流行的深度学习优化器,哪怕现在其实已经有几种可能更好用的优化器……

    如果将 Adam 优化出现以来产生的关于优化过程的有趣想法按时间顺序排列的话,结果如下:

    • LR Range test + Cyclical LR(《Cyclical Learning Rates for Training Neural Networks》)
    • SGDR(《SGDR: Stochastic Gradient Descent with Warm Restarts》)
    • SGDW(R) and AdamW(R)(《Fixing Weight Decay Regularization in Adam》)
    • 1-cycle policy and super-convergence(《Super-Convergence: Very Fast Training of Neural Networks Using Large Learning Rates》)

    引用

    [1] Adagrad

    [2]RMSprop[Lecture 6e]

    [3]Adadelta

    [4]Adam

    [5]Nadam

    [6]On the importance of initialization and momentum in deep learning

    [7]Keras中文文档

    [8]Alec Radford(图)

    [9]An overview of gradient descent optimization algorithms

    [10]Gradient Descent Only Converges to Minimizers

    [11]Deep Learning:Nature

    转载于:https://www.cnblogs.com/think90/p/11482394.html

    展开全文
  • 深度学习优化算法解析(Momentum, RMSProp, Adam)
    展开全文
  • 问题说明: pytorch迁移学习时,需要对某些层冻结参数,不参与方向传播,具体实现是将要冻结的参数的 requires_grad属性置为false,如下:

    问题说明:

    pytorch迁移学习时,需要对某些层冻结参数,不参与方向传播,具体实现是将要冻结的参数的requires_grad属性置为false,然后在优化器初始化时将参数组进行筛选,只加入requires_grad为True的参数,代码示例如下:

    cnn = CNN() #构建网络
    
    for n,p in cnn.named_parameters():
        print(n,p.requires_grad)
        if n=="conv1.0.weight":
            p.requires_grad = False
    
    optimizer = torch.optim.Adam(filter(lambda p: p.requires_grad,cnn.parameters()), lr=learning_rate)

    但是如果把requires_grad属性置为false这个操作放在optimizer之后,会不会有影响,这个指定层的参数会不会被冻结呢?代码示例如下:

    cnn = CNN() #构建网络
    
    optimizer = torch.optim.Adam(filter(lambda p: p.requires_grad,cnn.parameters()), lr=learning_rate)
    
    for n,p in cnn.named_parameters():
        print(n,p.requires_grad)
        if n=="conv1.0.weight":
            p.requires_grad = False

    经过打印每次迭代后参数组中的参数值,可以得出结论

    1、把requires_grad属性置为false的操作放在optimizer初始化之后,也可以达到参数被冻结的效果(该指定要冻结的层的参数完全没变化)

    2、区别在于,先进行requires_grad属性置为false的操作,再optimizer初始化,不会将该层的参数放进优化器中更新,而先进行optimizer初始化,再进行requires_grad属性置为false的操作,会将所有的参数放进优化器中,但不更新该指定层参数,只更新剩下的参数。对比看来,optimizer中的参数量会相比前者会更大一点。

    展开全文
  • 文章目录 1 简介 2 结果 A2GradExp(2018) A2GradInc(2018) A2GradUni(2018) AccSGD(2019) AdaBelief(2020) AdaBound(2019) AdaMod(2019) Adafactor(2018) AdamP(2020) AggMo(2019) Apollo(2020) DiffGrad*(2019) ...
  • SGDP and AdamP still won't work with PyTorch XLA but others should (have yet to test Adabelief, Adafactor, Adahessian myself). EfficientNet-V2 XL TF ported weights added, but they don't validate ...
  • // Correct position centreOfRotation() = centreOfRotation0() + ( tConstraints() & ( deltaT*v0() + aDamp()*sqr(deltaT)*(beta_*a() + (0.5 - beta_)*a0()) ) ); // Correct orientation vector piDeltaT = ...
  • python timm库

    万次阅读 多人点赞 2021-03-20 13:28:20
    https://arxiv.org/abs/1608.03983 Optimizer: rmsprop_tf . radam by Liyuan Liu. novograd by Masashi Kimura. lookahead adapted from impl by Liam. fused optimizers by name with NVIDIA Apex installed. adamp and sgdp by Naver ClovAI. adafactor adapted fromFAIRSeq impl. adahessian byDavid Samuel. 训练trick -Random Erasing -Mixup -CutMix -AutoAugment and RandAugment ImageNet configurations ...
  • Author: Adam Powell <adamp@google.com> Date: Thu Jan 26 14:14:34 2017 -0800 Lifecycle guarantees for target fragments Ported from frameworks/support change id I824eb312fbdfd6b548fe94aa2cd5b03...
  • alertdialog button位置潜谈

    千次阅读 2017-01-12 09:29:12
    Committer: Adam Powell <adamp@google.com> 2011-06-17 09:20:54 Parent: bd964f96245227d994f0b1dc019c29c661836638 (Tweak padding and sizing of alert dialog elements to fit better in) Child: 632364288039...
  • 了不起的盖茨比(英文版)

    万次阅读 2013-11-23 19:50:53
    The Great Gatsby By F. Scott Fitzgerald Download free eBooks of classic literature, books andnovels at Planet eBook. Subscribe to our free eBooks blogand email newsletter. ... Ten
  • 火炬优化器 torch-optimizer -- 与模块兼容的优化器集合。 简单的例子 import torch_optimizer as optim # model = ... optimizer = optim . DiffGrad ( model ....optimizer ....安装过程很简单,只需: ...
  • @AdamP  suggested... If you have your ListViewCachingStrategy set to RecycleElement, try disabling that and see if that stops the issue. I never explicitly set a CachingStrategy, the ...
  • 设计模式003:适配器

    2019-07-26 11:28:27
    适配器模式是结构型设计模式的一种。 适配器可以分为类适配器,对象适配器,...public class Adamp { public static void main(String[] args){ Inter i=new Source1(); i.method1(); i.method2(); } }
  • 癌症杂志 #hackcancer的原型,这是10月10日至11日在Google校园举办的黑客马拉松 团队成员: 西亚拉@indigoapour 亚当@ adamp83 静@jinghaaan 弗兰克@MrFronk
  • public class Adamp { public static void main(String[] args){ //Sourceable s=new Decareter(new Source()); Sourceable s=new Decareter(); s.method(); } } 具体实现的时候可以调有参和无参两种构造...

空空如也

空空如也

1 2
收藏数 21
精华内容 8
关键字:

adamp