精华内容
下载资源
问答
  • Dropout

    2020-08-01 10:53:18
    dropout字面意思就是“丢掉”,是为了防止神经网络出现过拟合,让隐藏层的节点在每次迭代时(包括正向和反向传播)有一定几率(keep-prob)失效 即 就比如 这样可以认出来 这样依然可以 一般情况,dropout ...

    dropout字面意思就是“丢掉”,是为了防止神经网络出现过拟合,让隐藏层的节点在每次迭代时(包括正向和反向传播)有一定几率(keep-prob)失效

     

    就比如

    这样可以认出来

    这样依然可以

    一般情况,dropout rate 设为0.3-0.5即可

     

     

    展开全文
  • tensorflow dropout

    2019-03-04 11:15:43
    所谓的dropout,从字面意思理解,就是“抛弃”。 抛弃什么呢?抛弃的是网络中隐藏层的节点(输入层和输出层是由数据类型和问题类型决定的,当然不能动啦!)。 怎么抛弃呢?dropout有一个参数p,p的取值介于0和1...

    工作原理:

             所谓的dropout,从字面意思理解,就是“抛弃”。

    抛弃什么呢?抛弃的是网络中隐藏层的节点(输入层和输出层是由数据类型和问题类型决定的,当然不能动啦!)。

    怎么抛弃呢?dropout有一个参数p,p的取值介于0和1,含义是每个节点有p概率被抛弃。

    被抛弃对这个节点有什么影响呢?dropout对于节点的影响表现在,一旦某个节点被选定为抛弃的节点,那么对于神经网络的forward过程这个节点的输出就被置为0;对于backward过程,这个节点的权重和偏置不参与更新。也就是说,在某次迭代中,网络中有部分节点不参与这一次的训练,整个网络结构等效于下图右侧(左侧是dropout前的)。

     

     

     

    为什么管用?

    回归到最重要的问题:为什么dropout效果这么好。Hinton大神的解释是dropout减少了节点之间的共适应。共适应这个词说起来好专业,我举个例子来说一下我的理解:

    假设一个网络中有10个节点,有一个perfect节点,它的取值刚刚好,另外9个节点的取值还需要调整,也就是所谓的一神带9坑!这个时候网络的输出层往回传递误差,这10个节点都不知道自己现在的取值是不是合适的啊,毕竟咱们开了上帝视角,而它们没有。所以它们就根据传回来的误差更新自己的取值,虽然其他9个节点可能有更合适的取值,但是这个perfect的值就破坏了啊。而且,在更新取值的时候,其他9个坑逼节点心想“这个误差是咱们10个共同造成的,嗯,我只要把我那份误差更新掉就行”,而实际上最终的误差是9个节点造成的,也就是说这些个坑逼节点对自己的错误认识还不够充分!不行,不能这么宠着它们!一个很简单的想法,就是让perfect不工作,得了,您歇着吧!这个时候9个节点就可以更好的更新自己权值,直到出现下一个perfect节点。

    但是,问题是咱们也不知道哪个节点是perfect节点啊,咱们训练的时候别说上帝视角了,有时候就连哪些个节点是dead node都看不穿啊。那怎么办呢?就让部分节点先不工作吧,先富带后富。假设不工作的节点全是坑壁节点,那对于perfect节点就是好事啊,毕竟最后的误差就小了。如果不工作的节点恰好有perfect节点,那对于那些个正在工作的菜鸡节点就是好事,让他们能正确认识到自己的错误!这样网络就能训练得更好了。

     

             当节点之间的共适应性减少了,除了能让网络取得更好的参数外,还能具有模型融合的优势。做过数据挖掘比赛的都知道,即使是几个弱鸡模型ensemble一下,也能有非常亮眼的表现。这就是dropout带来的另外一个好处。

     

     

     

    Dropout 解决 overfitting

    建立 dropout 层 

    本次内容需要使用一下 sklearn 数据库当中的数据, 没有安装 sklearn 的同学可以参考一下这个教程 安装一下. 然后 import 以下模块.

    
     
    1. import tensorflow as tf

    2. from sklearn.datasets import load_digits

    3. from sklearn.cross_validation import train_test_split

    4. from sklearn.preprocessing import LabelBinarizer

    
     
    1. keep_prob = tf.placeholder(tf.float32)

    2. ...

    3. ...

    4. Wx_plus_b = tf.nn.dropout(Wx_plus_b, keep_prob)

    这里的keep_prob是保留概率,即我们要保留的结果所占比例,它作为一个placeholder,在run时传入, 当keep_prob=1的时候,相当于100%保留,也就是dropout没有起作用。 下面我们分析一下程序结构,首先准备数据,

    digits = load_digits()

    可视化结果 

    训练中keep_prob=1时,就可以暴露出overfitting问题。keep_prob=0.5时,dropout就发挥了作用。 我们可以两种参数分别运行程序,对比一下结果。

    keep_prob=1时,模型对训练数据的适应性优于测试数据,存在overfitting,输出如下: 红线是 train 的误差, 蓝线是 test 的误差.

    Dropout 解决 overfitting

    keep_prob=0.5时效果好了很多,输出如下:

    Dropout 解决 overfitting

    展开全文
  • 在实践中多次看到通过保持0.5的dropout来提高泛化能力,目前尚未深刻理解这个意思。。。 附:理解dropout

    在实践中多次看到通过保持0.5的dropout来提高泛化能力,目前尚未深刻理解这个意思。。。
    附:理解dropout

    展开全文
  • bagging和dropout

    千次阅读 2018-05-15 23:08:56
    bagging中文意思是集成学习,通过在一个样本中随机选择一些样本构成训练数据集,训练出一个弱学习器,所谓的弱学习器就是分类的准确率稍微大于50%。重复N次,就可以得到N个弱学习器,最后通过这N个学习器进行投票,...

    bagging中文意思是集成学习,通过在一个样本中随机选择一些样本构成训练数据集,训练出一个弱学习器,

    所谓的弱学习器就是分类的准确率稍微大于50%。重复N次,就可以得到N个弱学习器,最后通过这N个学习器进行投票,

    采取少数服从多数的原则,最后即可实现分类的功能。


    dropout就是抑制一个网络中的部分神经元,在相同的数据集上训练时,每次抑制不同的部分,就相当于有了多个弱学习器,这一点和bagging原理是类似的,可以减少过拟合。dropout就是训练的时候随机丢弃部分隐藏层,这时候可认为丢弃不同隐藏层对应产生的网络是类似集成学习的子网络



    展开全文
  • 随笔小计-dropout

    2019-05-29 10:12:17
    字面意思dropout=drop+out即退出的意思,在神经网络训练过程中,随机让某一个神经元退出或者丢弃,当然此次的丢弃只存在于当前的batch中,对于随机梯度下降来说,每一个batch训练的网络都不尽相同。 2、droput有啥...
  • dropout的正则化理解

    千次阅读 2018-07-20 09:53:14
    dropout是hintion最近2年提出的...中文的意思:通过阻止特征检测器的共同作用来提高神经网络的性能; dropout效果同于bagging; 对于dropout的理解:输入层与输出层保持不变,隐藏层神经元按比例随机失活; 正常...
  • dropout理解~简易理解

    2019-03-12 23:36:00
    所谓的dropout,从字面意思理解,就是“抛弃”。 抛弃什么呢?抛弃的是网络中隐藏层的节点(输入层和输出层是由数据类型和问题类型决定的,当然不能动啦!)。 怎么抛弃呢?dropout有一个参数p,p的取值介于0和1...
  • Pytorch--Dropout笔记

    2019-10-05 14:22:24
    但是经常不知道dropout的参数p是什么意思。在TensorFlow中p叫做keep_prob,就一直以为pytorch中的p应该就是保留节点数的比例,但是实验结果发现反了,实际上表示的是不保留节点数的比例。看下面的例子: a = torch....
  • 第16章 Keras使用Dropout正则化防止过拟合 Dropout虽然简单,但可以有效防止过拟合。本章关于如何在Keras中使用Dropout。本章包括: ...Dropout意思是:每次训练时随机忽略一部分神经元,这些神经元dro...
  • pytorch里面是通过net.eval()固定整个网络参数,没有dropout,BN参数固定,不会进行梯度的计算,啥意思就是相当于网络没看过test数据,理论上对所有的validation set都要使用net.eval() net....
  • dropout是一种常用的手段,用来防止过拟合的,dropout意思是在训练过程中每次都随机选择一部分节点不要去学习,减少神经元的数量来降低模型的复杂度,同时增加模型的泛化能力。虽然会使得学习速度降低,因而需要...
  • dropout理解:1神带9坑

    2017-02-21 12:54:00
    Dropout是深度学习中防止过拟合的一项非常常见的技术,是hinton大神在12年提出的一篇论文里所采用的方法。有传言hinton大神的数学功底不是很好,所以他所... 所谓的dropout,从字面意思理解,就是“抛弃”。 抛弃什...
  • 卷积神经网络中与dropout的相关问题

    千次阅读 2019-07-07 21:29:11
    为什么dropout要用在全连接层? 因为全连接层参数占全部参数数目的大部分,容易过拟合(当参数过多,样本过... 最后的结果相当于子网络的组合---有集成学习的意思 动机解释:消除了神经元之间的依赖,增强泛化能...
  • dropout意思是,在训练过程中,每次随机选择一部分节点不要去“学习”。这样做得原理是什么?因为从数据的分析来看,数据本身是不可能很纯净的,即任何一个模型不能100%把数据完全分开,在某一类中一定会有一些...
  • 最近在学习caffe,里面有一个名词叫做Dropout Learning,一直没明白是什么意思,直到最近才发现一片文章介绍Dropout Learning的,希望可以给不知道的同学一定的帮助,如果想要更深入的了解可以阅读该文献,文章结尾...
  • dropout 从字面意思就是‘丢掉’ 丢掉?丢掉什么? 别急,我们来看看? 上图特征清晰明了,相必大家一眼就能认出是谁了把 根据这些特征,神经网络也能认出来,so easy ok, 那我们增加难度,丢掉一些特征,如下图 ...
  • 一、序言  dropout和L1、L2一样是一种解决过拟合的方法,梯度检验则是一种检验“反向传播... 简单来说dropout就是在每次训练时“随机”失效网络中部分神经元,大概就是下图这么个意思。  让神经元随机消失...
  •  LDO是low dropout regulator,意为低压差线性稳压器,是相对于传统的线性稳压器来说的。传统的线性稳压器,如78xx系列的芯片都要求输入电压要比输出电压高出2v~3V以上,否则就不能正常工作。但是在一些情况...
  • 神经网络中的 eval()是什么意思? 作者:Yellow_39f2 链接:https://www.jianshu.com/p/ef2a7a78aa83 在知乎(https://zhuanlan.zhihu.com/p/23178423)和博客园(https://www.cnblogs.com/king-lps/p/8570021.html...
  • no-drop dropout dropconnect Chandelier Decision Tree training example 把这5组英文翻译成汉语 要机器学习这个方向的 不要直译 谢谢
  • Dropout通常在forward函数中进行, 意思是按照一定的概率随机挑选 某些神经元作为0,也就是抛弃来一些参数,以提高效率。准确性也不怎么收到影响。概率P通常设为0.5 下面Dropout的具体例子 p=0.5 def train_step(x)...
  • tf.nn.rnn_cell.DrououtWrapper函数的用法

    千次阅读 2017-06-17 10:06:32
    tf.nn.rnn_cell.DrououtWrapper(cell, input_keep_prob=1.0, output_keep_prob=1.0)主要的参数就是三个,第一个就是输入的循环神经网络的cell,可以设定为...第三个参数是一样的意思。一般这里的dropout是在
  • 3 Dropout,意思就是训练的时候隐层神经元每次随机抽取部分参与训练。部分不参与 最后对之前普通神经网络分类mnist数据集的代码进行优化,初始化权重参数的时候采用截断正态分布,偏置项加常数,采用dropout防止过...
  • 3 Dropout,意思就是训练的时候隐层神经元每次随机抽取部分参与训练。部分不参与 最后对之前普通神经网络分类mnist数据集的代码进行优化,初始化权重参数的时候采用截断正态分布,偏置项加常数,采用dropout防止过...
  • LDO是Low Dropout Regulator的缩写,意思是低压差线性稳压器,下面是LDO的内部框图,大致的工作原理就是:参考电压Vref和反馈电压FB(VOUT通过两个电阻分压)分别接在误差放大器的反向和正向端,然后输出误差量,再...
  • 目录 一、工作原理 二、基本参数解释 三、LDO的一些特性 1、输出自放电 2、软启动 3、LDO效率 ...LDO是Low Dropout Regulator的缩写,意思是低压差线性稳压器,下面是LDO的内部框图,大致的工作原...
  • tf.nn.rnn_cell.DrououtWrapper(cell, input_keep_prob=1.0, output_keep_prob=1.0) ...第二个参数就是输入数据使用dropout,后面的概率,如果是1,就不会执行dropout。 第三个参数是一样的意思,即输出数据使

空空如也

空空如也

1 2 3
收藏数 46
精华内容 18
关键字:

dropout意思