精华内容
下载资源
问答
  • 深度学习是表示学习的经典代表: 深度学习的过程: 深度学习与传统机器学习差别: 深度学习代表算法: 先来看机器学习: 机器学习是利用经验experience来改善 计算机系统自身的性能,通过经验获取知识knowledge...

    目录

     

    先来看机器学习:

    什么是特征?

    深度学习是表示学习的经典代表:

    深度学习的过程:

    深度学习与传统机器学习差别:

    深度学习代表算法:


    先来看机器学习:

    机器学习是利用经验experience来改善 计算机系统自身的性能,通过经验获取知识knowledge。

    以往都是人们向计算机输入知识,现在是通过经验的“特征”数据来产生模型model(传统的机器学习)

    什么是特征?

    特征是给定任务特点的集合,依据实际情况而不同,由于特征的好坏会直接影响最终学习任务的性能,所以人们奇思妙想让机器自己学习产生特征(以往是我们人类认为这有哪些特征,直接输入计算机),人们尝试将特征学习这一过程也用机器自动学习得到,这便是“表示学习”(representation learning)

    深度学习是表示学习的经典代表:

    表示学习的发展,释放了人工智能原来的束缚,提高了很多场景下的应用性能,同时其自适应性 是的人工智能系统可以很快的移植到 新任务上去。DL是RL的经典代表。

    深度学习的过程:

    深度学习以原始数据raw data作为输入,经过 算法层层抽象为自身任务所需特征,最后在映射到任务目标, 中间无人为操作。

    深度学习与传统机器学习差别:

    深度学习:输入->简单特征->更加抽象特征->。。。。->特征向任务目标的映射->输出

    传统机器学习:输入->人工特征->特征向任务目标的映射->输出

    深度学习代表算法:

    神经网络算法:深度置信网络(deep belief network)、递归神经网络(recurrent neural network)和卷积神经网络(Convolution Neural Network,CNN)

                                                                         --学习笔记

    同时推荐以前的博文总结

    深度学习的发展历史

    展开全文
  • 我们在前面的《模型汇总_9 深度学习网络的表达方式汇总及模型分类方法》这篇文章中,指出了深度学习中常用的三种表示数据的方式,即局部表达、稀疏表达和分布式表达。深度学习强大建模和知识抽取的能力,主要原因之...


    我们在前面的《模型汇总_9 深度学习网络的表达方式汇总及模型分类方法》这篇文章中,指出了深度学习中常用的三种表示数据的方式,即局部表达、稀疏表达和分布式表达。深度学习强大建模和知识抽取的能力,主要原因之一就是它对观测样本X采用了有效的表达方式。数据的表达方式为什么如此重要?有效的表达方式可以简化我们处理问题的难度。比如,在NLP领域中,采用word2vec把词语表示成向量(vector)形式,要比采用one-hot形式表示词语具有很多优势:

    1、可以基于vector直接计算词与词之间的相似程度,one-hot表达形式不可以;

    2、word2vec表示的向量可以描述词与词之间的依赖关系,one-hot表达形式也不可以;

    3、vector不存在one-hot中的高纬问题,计算效率更高。

    表示(表达)学习(Representation Learning)是什么?为什么表示的概念有助于深度学习框架的设计?

    表示学习,又称学习表示。在深度学习领域内,表示是指通过模型的参数,采用何种形式、何种方式来表示模型的输入观测样本X。表示学习指学习对观测样本X有效的表示。

    表示学习有很多种形式,比如CNN参数的有监督训练是一种有监督的表示学习形式,对自动编码器和限制玻尔兹曼机参数的无监督预训练是一种无监督的表示学习形式,对DBN参数-先进性无监督预训练,再进行有监督fine-tuning-是一种半监督的共享表示学习形式。

    表示学习中最关键的问题是:如何评价一个表示比另一个表示更好?表示的选择通常通常取决于随后的学习任务,即一个好的表示应该使随后的任务的学习变得更容易。以基于CNN的图像分类任务为例。模型可以分为基于CNN的特征抽取和基于softmax回归的线性分类两个部分。通过模型参数有监督的训练,通过CNN,从线性不可分的图片里抽取出线性可分表示(特征),softmax线性分类器可以基于抽取的线性可分的表示进行分类。

    表示学习中最有趣的一种形式是涉及多个任务的共享表示学习。为什么?

    以无监督和有监督结合的共享表示学习为例。在深度学习任务中,我们通常有大量的无标签的训练样本和少量的有标签的训练样本。只在有限的有标签的训练样本上学习,会导致模型存在严重过拟合问题。共享表示具体来说,可以从大量无标签的观测样本中通过无监督的方法,学习出很好的表示,然后基于这些表示,采用少量有标签的观测样本来得到好的模型参数,缓解监督学习中的过拟合问题。

    共享表示学习涉及多个任务,多个任务之间共享一定相同的因素,比如相同的分布(distribution)、观测样本X来自相同的领域(domain)等。共享表示学习有多种表示形式。假设共享表示学习中采用训练样本A进行无监督学习,训练样本B进行有监督学习。样本A和样本B可能来自相同的领域,也可能来自不同的领域;可能任务服从相同的分布,也可能服从不同的分布。

    共享表示学习相关的机器学习技术有很多:迁移学习(Transfer Lear)、多任务学习(Multitask Learning)、领域适应性(Domain Adaptation)(One Shot Learning、Zero Shot learning)等。深度学习技术具有很强的特征抽取、知识表达的能力,是共享表示学习的利器,它可以有效抽取多个人任务之间共享的因素、知识或特征。因此,现在出现了很多将深度学习技术用于迁移学习、多任务学习技术中的研究。

    下期预告:下一期将详细介绍迁移学习(Transfer Lear)、多任务学习(Multitask Learning)、领域适应性(Domain Adaptation)(One Shot Learning、Zero Shot learning)技术,以及它们之间的关系。

    往期精彩内容推荐:

    《纯干货-6》Stanford University 2017年最新《Tensorflow与深度学习实战》视频课程分享

    <模型汇总-10> Variational AutoEncoder_变分自动编码器原理解析

    <纯干货-5>Deep Reinforcement Learning深度强化学习_论文大集合

    <模型汇总-9> VAE基础:LVM、MAP、EM、MCMC、Variational Inference(VI)


    更多深度学习NLP方面应用的经典论文、实践经验和最新消息,欢迎关注微信公众号“深度学习与NLPDeepLearning_NLP”或扫描二维码添加关注。


    展开全文
  • 深度学习从这一科学发现得到启发,通过网络的权值来捕捉外界输入模式的特征,并且通过网络连接方式来组合这些特征从而提取出更加高层特征,采用这种方法逐级从大量的输入数据中学习到对于输入模式有效的特征表示,...

    一、深度学习网络的表达方式汇总及模型分类方法

    人的大脑会对眼睛捕捉到的外界事物进行逐级抽象,逐渐提取出抽象的语义信息,以便为人脑所理解。深度学习从这一科学发现得到启发,通过网络的权值来捕捉外界输入模式的特征,并且通过网络连接方式来组合这些特征从而提取出更加高层特征,采用这种方法逐级从大量的输入数据中学习到对于输入模式有效的特征表示,然后再把学习到的特征用于分类、回归和信息检索。深度学习能够提取输入数据的特征,降低输入数据的维数和复杂度,逼近复杂的函数。

        为了使得深度网络结构变得更加容易训练,并且强化深度网络的特征提取和函数逼近能力,需要对深度学习网络采用更高效的网络表达方式。网络的表达方式是指网络采用何种结构上的连接方式来抽象表达输入模式的内部结构,或表示输入样本之间的关系。深度学习网络的表达方式有局部表达、分布式表达和稀疏表达3种。深度网络的网络结构是指网络神经元之间连接关系的确定原理,分为区分型网络结构和生成型网络结构两类。

    1、局部表达、分布式表达和稀疏表达

        局部表达是一种基于局部模板匹配的表达方式。先通过一个局部核函数对输入样本进行映射,然后再采用一个线性组合对局部核函数的输出进行组合,得到期望的输出。

        分布式表达和稀疏表达思想来源于人脑的视觉机理,人脑通过逐层抽象表示外界事物来最终感知事物,这种抽象表示往往是通过一系列分散的神经元来实现的,这些神经元之间相互依赖,各自分散;同时,这种抽象表示也是稀疏的,在特定的时刻,只有1-4%神经元同时处于激活状态。分布式表达是分散的,能更有效地提取输入数据的特征,减少了对于样本的需求量;此外,分布式表达通过逐层降低输入模式的维度,解决高维输入模式引起的维度灾难问题。

        稀疏表达约束深度网络大部分神经元节点处于抑制状态,即输出值为0;只有少数神经元处于活跃状态,输出值非0。稀疏表示的目的就是希望通过少量的神经元来辨识出输入模式内部的驱动要素,在提取出驱动要素的过程中降低网络的计算复杂度。

    2、判别模型与生成模型

        模型参数训练有两种方法,即判别方法和生成方法,参数训练后产生的模型分别称为判别模型和生成模型。在进行模型参数训练时给定一组输入X=(x1,x2,….xn),对应也会在模型的输出端得到一组输出Y=(y1,y2,....yn)。在已知输出Y的情况下,一定存在一组最优的输入X*使得条件概率P(X|Y)的值达到最大。由贝叶斯公式和全概率公式可得:

    其中,P(Y|X)称为先验概率,P(X|Y)成为后验概率。生成方法是先对先验概率P(Y|X)建模,然后再求最优的输入参数。当输出Y已知时,P(Y) = 1,即X* = argmax P(Y|X),因此生成模型认为模型的输出Y可以看作是由输入X生成的。判别方法则是直接对后验概率P(X|Y)进行建模,在给定输出Y的状态下寻找最优的输入X*,因此判别模型认为模型的输入X是由模型的输出Y决定的。

        根据采用参数训练方法不同,深度网络分为生成型深度网络和判别型深度网络两类。深度学习常用模型有堆叠自动编码器、卷积网络和深度信念网络。其中,堆叠自动编码器和卷积网络属于生成型深度网络;深度信念网络属于判别型深度网络。此外,还有一些混合网络,如卷积网络和自动编码器组成卷积自动编码器,限制玻尔兹曼机和卷积网络组成卷积深度信念网络。深度学习应用最为广泛的有卷积网络、深度信念网络和堆叠自动编码器三种网络,这三种网络有各自的网络结构。

    3、参考文献

    [1]   孙志军, 薛雷, 许阳明, 王正. 深度学习研究综述[J]. 计算机应用研究, 2012, 29(8):2806-2810.

    [2]   刘建伟, 刘媛, 罗雄麟. 深度学习研究进展[J]. 计算机应用研究, 2014, 31(7):1921-1942.

    [3]   T. N. Sainath,B. Kingsbury, A. R. Mohamed. Learning filter banks within a deep neural network framework[C]. IEEE Workshop on Automatic Speech Recognition and Understanding (ASRU), Olomouc, 2013.

    [4] G. E. Hinton and R. R. Salakhutdinov. Reducing the dimensionality of data with neural networks[J]. Science, 2006:504–507.

    [5]  Y. LeCun, L. Bottou, Y. Bengio, P. Haffner, Gradient_based Learning Applied to Document Rerognition[J]. PROC. OF THE IEEE, 1998:1-46.

     

    二、深度学习中的表示学习_Representation Learning

     在前面指出了深度学习中常用的三种表示数据的方式,即局部表达、稀疏表达和分布式表达。深度学习强大建模和知识抽取的能力,主要原因之一是它对观测样本X采用了有效的表达方式。

     数据的表达方式为什么如此重要?

        有效的表达方式可以简化我们处理问题的难度。比如,在NLP领域中,采用word2vec把词语表示成向量(vector)形式,要比采用one-hot形式表示词语具有很多优势:

        1、可以基于vector直接计算词与词之间的相似程度,one-hot表达形式不可以;

        2、word2vec表示的向量可以描述词与词之间的依赖关系,one-hot表达形式也不可以;

         3、vector不存在one-hot中的高纬问题,计算效率更高。

    表示(表达)学习(Representation Learning)是什么?为什么表示的概念有助于深度学习框架的设计?

        表示学习,又称学习表示。在深度学习领域内,表示是指通过模型的参数,采用何种形式、何种方式来表示模型的输入观测样本X。表示学习指学习对观测样本X有效的表示。

    表示学习有很多种形式,比如CNN参数的有监督训练是一种有监督的表示学习形式,对自动编码器和限制玻尔兹曼机参数的无监督预训练是一种无监督的表示学习形式,对DBN参数-先进性无监督预训练,再进行有监督fine-tuning-是一种半监督的共享表示学习形式。

    表示学习中最关键的问题是:如何评价一个表示比另一个表示更好?

        表示的选择通常通常取决于随后的学习任务,即一个好的表示应该使随后的任务的学习变得更容易。以基于CNN的图像分类任务为例。模型可以分为基于CNN的特征抽取和基于softmax回归的线性分类两个部分。通过模型参数有监督的训练,通过CNN,从线性不可分的图片里抽取出线性可分表示(特征),softmax线性分类器可以基于抽取的线性可分的表示进行分类。

    表示学习中最有趣的一种形式是涉及多个任务的共享表示学习。为什么?

        以无监督和有监督结合的共享表示学习为例。在深度学习任务中,我们通常有大量的无标签的训练样本和少量的有标签的训练样本。只在有限的有标签的训练样本上学习,会导致模型存在严重过拟合问题。共享表示具体来说,可以从大量无标签的观测样本中通过无监督的方法,学习出很好的表示,然后基于这些表示,采用少量有标签的观测样本来得到好的模型参数,缓解监督学习中的过拟合问题。

        共享表示学习涉及多个任务,多个任务之间共享一定相同的因素,比如相同的分布(distribution)、观测样本X来自相同的领域(domain)等。共享表示学习有多种表示形式。假设共享表示学习中采用训练样本A进行无监督学习,训练样本B进行有监督学习。样本A和样本B可能来自相同的领域,也可能来自不同的领域;可能任务服从相同的分布,也可能服从不同的分布。

        共享表示学习相关的机器学习技术有很多:迁移学习(Transfer Lear)、多任务学习(Multitask Learning)、领域适应性(Domain Adaptation)(One Shot Learning、Zero Shot learning)等。深度学习技术具有很强的特征抽取、知识表达的能力,是共享表示学习的利器,它可以有效抽取多个人任务之间共享的因素、知识或特征。因此,现在出现了很多将深度学习技术用于迁移学习、多任务学习技术中的研究。

     

    展开全文
  • 深度学习中Dropout原理解析

    万次阅读 多人点赞 2018-06-19 19:12:24
    1. Dropout简介1.1 Dropout出现的原因在机器学习的模型中,如果模型的参数太多,而训练样本又太少,训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题,过拟合具体表现在:模型在...

    “微信公众号”

    1. Dropout简介

    1.1 Dropout出现的原因

    在机器学习的模型中,如果模型的参数太多,而训练样本又太少,训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题,过拟合具体表现在:模型在训练数据上损失函数较小,预测准确率较高;但是在测试数据上损失函数比较大,预测准确率较低。

    过拟合是很多机器学习的通病。如果模型过拟合,那么得到的模型几乎不能用。为了解决过拟合问题,一般会采用模型集成的方法,即训练多个模型进行组合。此时,训练模型费时就成为一个很大的问题,不仅训练多个模型费时,测试多个模型也是很费时。

    综上所述,训练深度神经网络的时候,总是会遇到两大缺点:

    (1)容易过拟合

    (2)费时

    Dropout可以比较有效的缓解过拟合的发生,在一定程度上达到正则化的效果。

    1.2 什么是Dropout

    在2012年,Hinton在其论文《Improving neural networks by preventing co-adaptation of feature detectors》中提出Dropout。当一个复杂的前馈神经网络被训练在小的数据集时,容易造成过拟合。为了防止过拟合,可以通过阻止特征检测器的共同作用来提高神经网络的性能。

    在2012年,Alex、Hinton在其论文《ImageNet Classification with Deep Convolutional Neural Networks》中用到了Dropout算法,用于防止过拟合。并且,这篇论文提到的AlexNet网络模型引爆了神经网络应用热潮,并赢得了2012年图像识别大赛冠军,使得CNN成为图像分类上的核心算法模型。

    随后,又有一些关于Dropout的文章《Dropout:A Simple Way to Prevent Neural Networks from Overfitting》、《Improving Neural Networks with Dropout》、《Dropout as data augmentation》。

    从上面的论文中,我们能感受到Dropout在深度学习中的重要性。那么,到底什么是Dropout呢?

    Dropout可以作为训练深度神经网络的一种trick供选择。在每个训练批次中,通过忽略一半的特征检测器(让一半的隐层节点值为0),可以明显地减少过拟合现象。这种方式可以减少特征检测器(隐层节点)间的相互作用,检测器相互作用是指某些检测器依赖其他检测器才能发挥作用。

    Dropout说的简单一点就是:我们在前向传播的时候,让某个神经元的激活值以一定的概率p停止工作,这样可以使模型泛化性更强,因为它不会太依赖某些局部的特征,如图1所示。


    图1:使用Dropout的神经网络模型

    2. Dropout工作流程及使用

    2.1 Dropout具体工作流程

    假设我们要训练这样一个神经网络,如图2所示。

    图2:标准的神经网络

    输入是x输出是y,正常的流程是:我们首先把x通过网络前向传播,然后把误差反向传播以决定如何更新参数让网络进行学习。使用Dropout之后,过程变成如下:

    (1)首先随机(临时)删掉网络中一半的隐藏神经元,输入输出神经元保持不变(图3中虚线为部分临时被删除的神经元)

                                                                                       图3:部分临时被删除的神经元

    (2) 然后把输入x通过修改后的网络前向传播,然后把得到的损失结果通过修改的网络反向传播。一小批训练样本执行完这个过程后,在没有被删除的神经元上按照随机梯度下降法更新对应的参数(w,b)。

    (3)然后继续重复这一过程:

    • . 恢复被删掉的神经元(此时被删除的神经元保持原样,而没有被删除的神经元已经有所更新)
    • . 从隐藏层神经元中随机选择一个一半大小的子集临时删除掉(备份被删除神经元的参数)。
    • . 对一小批训练样本,先前向传播然后反向传播损失并根据随机梯度下降法更新参数(w,b) (没有被删除的那一部分参数得到更新,删除的神经元参数保持被删除前的结果)。

    不断重复这一过程。

    2.2 Dropout在神经网络中的使用

    Dropout的具体工作流程上面已经详细的介绍过了,但是具体怎么让某些神经元以一定的概率停止工作(就是被删除掉)?代码层面如何实现呢?

    下面,我们具体讲解一下Dropout代码层面的一些公式推导及代码实现思路。

    (1)在训练模型阶段

    无可避免的,在训练网络的每个单元都要添加一道概率流程。

    图4:标准网络和带有Dropout网络的比较

    对应的公式变化如下:

    •  . 没有Dropout的网络计算公式:
    •            
    • . 采用Dropout的网络计算公式:

    • 上面公式中Bernoulli函数是为了生成概率r向量,也就是随机生成一个0、1的向量。

      代码层面实现让某个神经元以概率p停止工作,其实就是让它的激活函数值以概率p变为0。比如我们某一层网络神经元的个数为1000个,其激活函数输出值为y1、y2、y3、......、y1000,我们dropout比率选择0.4,那么这一层神经元经过dropout后,1000个神经元中会有大约400个的值被置为0。

      注意: 经过上面屏蔽掉某些神经元,使其激活值为0以后,我们还需要对向量y1……y1000进行缩放,也就是乘以1/(1-p)。如果你在训练的时候,经过置0后,没有对y1……y1000进行缩放(rescale),那么在测试的时候,就需要对权重进行缩放,操作如下。

      (2)在测试模型阶段

      预测模型的时候,每一个神经单元的权重参数要乘以概率p。

    • 图5:预测模型时Dropout的操作
    • 测试阶段Dropout公式:

    3. 为什么说Dropout可以解决过拟合?

    (1)取平均的作用: 先回到标准的模型即没有dropout,我们用相同的训练数据去训练5个不同的神经网络,一般会得到5个不同的结果,此时我们可以采用 “5个结果取均值”或者“多数取胜的投票策略”去决定最终结果。例如3个网络判断结果为数字9,那么很有可能真正的结果就是数字9,其它两个网络给出了错误结果。这种“综合起来取平均”的策略通常可以有效防止过拟合问题。因为不同的网络可能产生不同的过拟合,取平均则有可能让一些“相反的”拟合互相抵消。dropout掉不同的隐藏神经元就类似在训练不同的网络,随机删掉一半隐藏神经元导致网络结构已经不同,整个dropout过程就相当于对很多个不同的神经网络取平均。而不同的网络产生不同的过拟合,一些互为“反向”的拟合相互抵消就可以达到整体上减少过拟合。

    (2)减少神经元之间复杂的共适应关系: 因为dropout程序导致两个神经元不一定每次都在一个dropout网络中出现。这样权值的更新不再依赖于有固定关系的隐含节点的共同作用,阻止了某些特征仅仅在其它特定特征下才有效果的情况 。迫使网络去学习更加鲁棒的特征 ,这些特征在其它的神经元的随机子集中也存在。换句话说假如我们的神经网络是在做出某种预测,它不应该对一些特定的线索片段太过敏感,即使丢失特定的线索,它也应该可以从众多其它线索中学习一些共同的特征。从这个角度看dropout就有点像L1,L2正则,减少权重使得网络对丢失特定神经元连接的鲁棒性提高。

    (3)Dropout类似于性别在生物进化中的角色:物种为了生存往往会倾向于适应这种环境,环境突变则会导致物种难以做出及时反应,性别的出现可以繁衍出适应新环境的变种,有效的阻止过拟合,即避免环境改变时物种可能面临的灭绝。

    4. Dropout在Keras中的源码分析

    下面,我们来分析Keras中Dropout实现源码。

    Keras开源项目GitHub地址为:

    https://github.com/fchollet/keras/tree/master/keras

    其中Dropout函数代码实现所在的文件地址:

    https://github.com/fchollet/keras/blob/master/keras/backend/theano_backend.py

    Dropout实现函数如下:

    图6:Keras中实现Dropout功能

    我们对keras中Dropout实现函数做一些修改,让dropout函数可以单独运行。

    # coding:utf-8
    import numpy as np
    
    # dropout函数的实现
    def dropout(x, level):
        if level < 0. or level >= 1: #level是概率值,必须在0~1之间
            raise ValueError('Dropout level must be in interval [0, 1[.')
        retain_prob = 1. - level
    
        # 我们通过binomial函数,生成与x一样的维数向量。binomial函数就像抛硬币一样,我们可以把每个神经元当做抛硬币一样
        # 硬币 正面的概率为p,n表示每个神经元试验的次数
        # 因为我们每个神经元只需要抛一次就可以了所以n=1,size参数是我们有多少个硬币。
        random_tensor = np.random.binomial(n=1, p=retain_prob, size=x.shape) #即将生成一个0、1分布的向量,0表示这个神经元被屏蔽,不工作了,也就是dropout了
        print(random_tensor)
    
        x *= random_tensor
        print(x)
        x /= retain_prob
    
        return x
    
    #对dropout的测试,大家可以跑一下上面的函数,了解一个输入x向量,经过dropout的结果  
    x=np.asarray([1,2,3,4,5,6,7,8,9,10],dtype=np.float32)
    dropout(x,0.4)

    函数中,x是本层网络的激活值。Level就是dropout就是每个神经元要被丢弃的概率。

    注意: Keras中Dropout的实现,是屏蔽掉某些神经元,使其激活值为0以后,对激活值向量x1……x1000进行放大,也就是乘以1/(1-p)。

    思考:上面我们介绍了两种方法进行Dropout的缩放,那么Dropout为什么需要进行缩放呢?

    因为我们训练的时候会随机的丢弃一些神经元,但是预测的时候就没办法随机丢弃了。如果丢弃一些神经元,这会带来结果不稳定的问题,也就是给定一个测试数据,有时候输出a有时候输出b,结果不稳定,这是实际系统不能接受的,用户可能认为模型预测不准。那么一种”补偿“的方案就是每个神经元的权重都乘以一个p,这样在“总体上”使得测试数据和训练数据是大致一样的。比如一个神经元的输出是x,那么在训练的时候它有p的概率参与训练,(1-p)的概率丢弃,那么它输出的期望是px+(1-p)0=px。因此测试的时候把这个神经元的权重乘以p可以得到同样的期望。

    总结:

    当前Dropout被大量利用于全连接网络,而且一般认为设置为0.5或者0.3,而在卷积网络隐藏层中由于卷积自身的稀疏化以及稀疏化的ReLu函数的大量使用等原因,Dropout策略在卷积网络隐藏层中使用较少。总体而言,Dropout是一个超参,需要根据具体的网络、具体的应用领域进行尝试。


    Reference:


    1. Hinton G E, Srivastava N, Krizhevsky A, et al. Improving neural networks by preventing co-adaptation of feature detectors[J]. arXiv preprint arXiv:1207.0580, 2012.

    2. Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105.

    3. Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: A simple way to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

    4. Srivastava N. Improving neural networks with dropout[J]. University of Toronto, 2013, 182.

    5. Bouthillier X, Konda K, Vincent P, et al. Dropout as data augmentation[J]. arXiv preprint arXiv:1506.08700, 2015.

    6. 深度学习(二十二)Dropout浅层理解与实现,地址:https://blog.csdn.net/hjimce/article/details/50413257

    7. 理解dropout,地址:https://blog.csdn.net/stdcoutzyx/article/details/49022443

    8. Dropout解决过拟合问题 - 晓雷的文章 - 知乎,地址:https://zhuanlan.zhihu.com/p/23178423

    9. 李理:卷积神经网络之Dropout,地址:https://blog.csdn.net/qunnie_yi/article/details/80128463

    10. Dropout原理,代码浅析,地址:https://blog.csdn.net/whiteinblue/article/details/37808623

    11. Deep learning:四十一(Dropout简单理解),地址:https://www.cnblogs.com/tornadomeet/p/3258122.html?_t_t_t=0.09445037946091872

    展开全文
  • 深度学习(1): 深度学习简介

    万次阅读 多人点赞 2019-08-09 11:10:29
    2 深度学习应用2.1 机器学习的一般方法2.2 深度学习的一般方法3 GPU的迅速发展3.1 GPU与显卡的区别3.2 GPU 与 CPU 区别3.3 GPU种类参考资料 注:转载请标明原文出处链接:...
  • 深度强化学习

    千次阅读 2019-02-04 11:18:35
    深度强化学习深度学习的感知能力和强化学习的决策能力相结合,可以直接根据输入的图像进行控制,是一种更接近人类思维方式的人工智能方法。 简介   深度强化学习的框架 深度学习具有较强的感知能力,但是...
  • 图结构表示深度学习

    千次阅读 2020-12-11 18:42:07
    我们所提出的方法主要基于以图形式构造神经网络的模型表示和计算主题,这使得从具有显式和隐式模块结构的数据学习时可以改进泛化性能。 我们的贡献如下: •我们提出了将图卷积网络(GCN)(Kipf和Welling,2017;...
  • 深度学习

    千次阅读 多人点赞 2019-01-14 14:51:41
    #深度学习 我与这世间所有的羁绊,一旦连上,就再也断不开。 羁绊越深,痛苦便越深。 关于这篇深度学习的文章,总共六章。 综述而已。 01:研究背景 02:深度学习网络 03:深度学习框架 04:深度学习应用 05:未来...
  • 深度学习学习笔记

    千次阅读 2016-05-19 21:13:46
    深度学习学习笔记 最近研究一篇论文,使用RNN(recurrence neural networks)识别二进制代码中函数的方法,考虑到相关的CNN,LSTM,t-SNE,LDA等名词和相关算法一直碰到,避无可避,遂整体的学习了一下DeepLearning...
  • 深度学习(DL):深度学习是机器学习的一个分支,是指一类问题以及解决这类问题的方法。 神经网络(ANNs):又称人工神经网络,是由人工神经元以及神经元之间的连接构成,其中有两类特殊的神经元: 一类是用来接受外部...
  • 最近在学习复旦邱锡鹏老师的《神经网络与深度学习》,并对书中推荐的论文进行了阅读。感觉这本书对深度学习讲解得很好,即有全面严谨的讲述,也有高屋建瓴的理解。 本文的行文结构是按邱老师的书籍结构来的,并...
  • 深度学习入门笔记(一):深度学习引言

    万次阅读 多人点赞 2019-09-09 18:02:57
    第一门课 神经网络和深度学习(Neural Networks and Deep Learning) 文章目录第一门课 神经网络和深度学习(Neural Networks and Deep Learning)第一周:深度学习引言(Introduction to Deep Learning)1.1 欢迎...
  • 深度学习入门

    万次阅读 多人点赞 2017-11-05 21:23:46
    深度学习
  • 深度学习中Embedding层有什么用?

    万次阅读 多人点赞 2017-09-05 10:57:14
    深度学习实验中经常会遇Eembedding层,然而网络上的介绍可谓是相当含糊。比如 Keras中文文档中对嵌入层 Embedding的介绍除了一句 “*嵌入层将正整数(下标)转换为具有固定大小的向量*”之外就不愿做过多的解释。...
  • 从特征表示深度学习

    千次阅读 2014-10-26 16:11:12
    最近一直在学习特征表达和学习的理论基础,从稀疏
  • 再谈深度学习文本的表示

    千次阅读 2016-05-06 16:28:50
    再谈深度学习文本的表示 作者:尹文鹏,德国慕尼黑大学博士研究生二年级,自然语言处理方向。先后在西北工业大学和北京大学获得本科,硕士学位。... 因此本文再谈deep learning在文本表示学习方面的体会。
  • 深度强化学习系列(1): 深度强化学习概述

    万次阅读 多人点赞 2018-03-30 20:45:33
    深度强化学习及其在自动驾驶中的应用( DRL &amp; ADS ) 专栏系列文章规划 DRL&amp;ADS系列之(1): 强化学习概述 DRL&amp;ADS系列之(2): 深度强化学习及算法讲解 DRL&amp;ADS系列之(3): ADS软...
  • 深度强化学习一直以来都以智能体训练时间长、计算力需求大而限制很多的人去学习,比如:AlphaZero训练3天的时间等,因此缩短训练周转时间成为一个重要话题。目前这块的研究成果并不是特别多,但,深度强化学习大神...
  • [深度学习]深度学习框架总结

    万次阅读 2017-04-16 11:53:11
    深度学习库比较 库名 主语言 从语言 速度 灵活性 文档 适合模型 平台 上手难易 开发者 模式 Tensorflo C++ cuda/python/Matlab/Ruby/R 中等 好 中等 CNN/RNN Linux,OSX 难 Google 分布式/声明...
  • 文章目录深度学习 - 深度学习 (人工神经网络的研究的概念)1、概念2、相关应用场景3、简介4、区别于浅层学习5、典型模型案例6、深度学习是如何进行训练的自下上升的非监督学习自顶向下的监督学习 深度学习 - 深度...
  • 深度学习基础入门

    万次阅读 多人点赞 2018-07-03 02:45:11
    本课程共分为三个部分:基础理论、深度神经网络基本结构以及网络优化与实践。本课程采用了理论结合实践的讲解方式,方便读者边学边练,理解巩固。在解释相关概念时,作者尽力使用简单、直观、可实现的公式语言描述,...
  • 深度学习深度学习简介

    千次阅读 2017-04-02 15:32:33
    概述深度学习(Deep Learning)是利用多层神经网络结构,从大数据中学习现实世界中各类事物能直接用于计算机计算的表示形式(如图像中的事物、音频中的声音等),被认为是智能机器可能的“大脑结构”。Learning:让...
  • 手撸神经网络 深度学习环境搭建与简单神经网络实现图片分类 文章目录手撸神经网络 深度学习环境搭建与简单神经网络实现图片分类手撸神经网络 全代码 如下官方安装教程WIN10安装CUDA10CUDA安装成功!WIN10安装...
  • 深度学习入门书籍推荐: 想入门深度学习却不知道该如何下手?我整理了这份知识清单。 希望能够节省你的时间,对你有所帮助。 2019 年最佳机器学习深度学习书籍的名单: 《深度学习》by Ian Goodfellow, Yoshua ...
  • 机器学习深度强化学习

    千次阅读 2016-03-21 15:29:58
    机器学习深度强化学习
  • 深度学习-深度学习开源框架汇总

    千次阅读 2018-03-28 18:03:28
    随着深度学习如火如荼的发展,越来越多的深度学习框架开始涌现出来,群雄逐鹿,鹿死谁手还未确定,基于现有团队的技术沉淀和应用场景的需求,进行框架选择是较为稳妥的方案。1. TensorFlowTensorFlow是Google推出的...
  • 深度学习第一讲之深度学习基础

    万次阅读 2018-04-03 10:56:15
    深度学习第一讲之深度学习基础 转载请注明出处!  本篇博文从what、why、when、who、where、how五个方面来分析深度学习,接下来讲如何入门,我门将通过介绍实际案例来讲解深度学习的实际应用,一下篇博文讲解深度...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 258,388
精华内容 103,355
关键字:

深度表示学习