深度学习 订阅
深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向,它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Intelligence)。 [1]  深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法,在语音和图像识别方面取得的效果,远远超过先前相关技术。 [1]  深度学习在搜索技术,数据挖掘,机器学习,机器翻译,自然语言处理,多媒体学习,语音,推荐和个性化技术,以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动,解决了很多复杂的模式识别难题,使得人工智能相关技术取得了很大进步。 [1] 展开全文
深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向,它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Intelligence)。 [1]  深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法,在语音和图像识别方面取得的效果,远远超过先前相关技术。 [1]  深度学习在搜索技术,数据挖掘,机器学习,机器翻译,自然语言处理,多媒体学习,语音,推荐和个性化技术,以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动,解决了很多复杂的模式识别难题,使得人工智能相关技术取得了很大进步。 [1]
信息
外文名
Deep Learning
提出时间
2006年
提出者
Geoffrey Hinton,Yoshua Bengio,Yann LeCun 等
中文名
深度学习
学    科
人工智能
应    用
计算机视觉,自然语言处理,生物信息学 等
深度学习简介
深度学习是一类模式分析方法的统称,就具体研究内容而言,主要涉及三类方法: [2]  (1)基于卷积运算的神经网络系统,即卷积神经网络(CNN)。 [2]  (2)基于多层神经元的自编码神经网络,包括自编码( Auto encoder)以及近年来受到广泛关注的稀疏编码两类( Sparse Coding)。 [2]  (3)以多层自编码神经网络的方式进行预训练,进而结合鉴别信息进一步优化神经网络权值的深度置信网络(DBN)。 [2]  通过多层处理,逐渐将初始的“低层”特征表示转化为“高层”特征表示后,用“简单模型”即可完成复杂的分类等学习任务。由此可将深度学习理解为进行“特征学习”(feature learning)或“表示学习”(representation learning)。 [3]  以往在机器学习用于现实任务时,描述样本的特征通常需由人类专家来设计,这成为“特征工程”(feature engineering)。众所周知,特征的好坏对泛化性能有至关重要的影响,人类专家设计出好特征也并非易事;特征学习(表征学习)则通过机器学习技术自身来产生好特征,这使机器学习向“全自动数据分析”又前进了一步。 [3]  近年来,研究人员也逐渐将这几类方法结合起来,如对原本是以有监督学习为基础的卷积神经网络结合自编码神经网络进行无监督的预训练,进而利用鉴别信息微调网络参数形成的卷积深度置信网络。与传统的学习方法相比,深度学习方法预设了更多的模型参数,因此模型训练难度更大,根据统计学习的一般规律知道,模型参数越多,需要参与训练的数据量也越大。 [2]  20世纪八九十年代由于计算机计算能力有限和相关技术的限制,可用于分析的数据量太小,深度学习在模式分析中并没有表现出优异的识别性能。自从2006年, Hinton等提出快速计算受限玻耳兹曼机(RBM)网络权值及偏差的CD-K算法以后,RBM就成了增加神经网络深度的有力工具,导致后面使用广泛的DBN(由 Hinton等开发并已被微软等公司用于语音识别中)等深度网络的出现。与此同时,稀疏编码等由于能自动从数据中提取特征也被应用于深度学习中。基于局部数据区域的卷积神经网络方法今年来也被大量研究。 [2] 
收起全文
精华内容
下载资源
问答
  • 因此,我们将要介绍的深度学习,指的是构建神经网络结构,并且运用各种深度学习算法训练网络参数,进而解决各种任务。本文从PyTorch环境配置开始。PyTorch是一种Python接口的深度学习框架,使用灵活,学习方便。...

    前言

    深度神经网络是一种目前被广泛使用的工具,可以用于图像识别、分类,物体检测,机器翻译等等。深度学习(DeepLearning)是一种学习神经网络各种参数的方法。因此,我们将要介绍的深度学习,指的是构建神经网络结构,并且运用各种深度学习算法训练网络参数,进而解决各种任务。本文从PyTorch环境配置开始。PyTorch是一种Python接口的深度学习框架,使用灵活,学习方便。还有其他主流的深度学习框架,例如Caffe,TensorFlow,CNTK等等,各有千秋。笔者认为,初期学习还是选择一种入门,不要期望全都学会。须知,发力集中才能深入挖掘。乱花渐欲迷人眼,选择适合自己的,从一而终,相信会对科研大有裨益!

    ***************************************************

    说明:本文乃至本系列全部文章都是在PyTorch0.2版本下做的。现在版本更新了很多,会有一些API的更改,请大家注意Follow最新的变化,以免由于版本问题受到困扰。

    ***************************************************

    1. 环境说明

    PyTorch目前支持OSX和Linux两种系统,并且支持多种安装方式。在官网上介绍了基于conda,pip和源代码编译几种不同的安装方式。支持的Python版本有2.7,3.5和3.6。鉴于深度学习需要的计算量一般比较大,强烈建议找到一个有独立显卡的电脑来展开学习,当然没有显卡也能用,就是计算慢很多了。

    如果你的电脑是Windows,那么可以安装一个虚拟机来运行Linux,但是性能可能会折扣。我的电脑操作系统是Ubuntu16.04,所以我会以此为例子来介绍后面的内容。

     

    2. Anaconda 和Python

    PackageManager我们选择conda,于是我们需要安装Anaconda这个功能强大的包,下载地质:https://www.anaconda.com/download/#linux 。里面包含了conda工具,也有Python,以及很多Python需要的扩展工具包。选择2.7版本,下载并安装即可。接下来,如果有显卡,进入第3步;没有显卡直接到第4步。

     

    3. 显卡驱动和CUDA

    要使用显卡进行运算,你需要使用支持CUDA的NVIDIA显卡,目前比较好的显卡有NVIDIATITANX、GTX1080Ti 等。好的显卡将会是深度学习研究的有力武器。当然,普通的显卡例如GTX970、GTX1060等也是可以用的。实在没有显卡,那只能做简单的小数据量的实验,效果不会太好。

    在Ubuntu16.04上可以采用以下方法安装显卡驱动,这种方式比较稳定。打开“SystemSettings”——“Software&Updates” —— “AdditionalDrivers”,联网状态会自动搜索可用的显卡驱动,选择可用的版本,点击“ApplyChanges”即可。可能重启动后显卡驱动才能生效。

    接下来安装CUDAToolkit。因为最新的CUDA是9.0版本,但是PyTorch只能支持到8.0。所以转到该网址“https://developer.nvidia.com/cuda-80-ga2-download-archive”,选择对应的参数,下方会有对应的CUDA文件。例如,下图是我选择的版本。选择deb文件,发现有1.9G大小,下载下来,按照baseinstaller的指示来完成安装。附加的cuBLAS也可以下载下来安装上。

    CUDA安装完成后,在主目录下打开“.bachrc”文件,在末尾添加如下代码:

    export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}
    export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
    export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

     

     

     

    4. 运行PyTorch的安装命令

    如果你和我一样,采用8.0CUDA,2.7版本Python,可以运行以下命令:

    conda install pytorch torchvision cuda80 -c soumith

    如果没有显卡,2.7版本Python,可以这样:

    conda install pytorch torchvision -c soumith

     

    5. 验证安装是否成功

    要显示显卡信息,在终端输入:

    sudo lshw -c video

     

    要显示CUDA信息,在终端输入:

    nvcc -V

     

    查看Phthon版本,在终端输入:

    python --version

     

    验证pytorch是否安装成功,在终端输入:

    python

    此时进入python环境。然后,继续输入

    import torch

    import torchvision

    不报错就表明安装成功。

     

     

     

    展开全文
  • Deep Learning(深度学习)学习笔记整理系列之(一)

    万次阅读 多人点赞 2013-04-08 23:35:33
    Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 2013-04-08   声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家...

    Deep Learning(深度学习)学习笔记整理系列

    zouxy09@qq.com

    http://blog.csdn.net/zouxy09

    作者:Zouxy

    version 1.0  2013-04-08

     

    声明:

    1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。

    2)本文仅供学术交流,非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除。

    3)本人才疏学浅,整理总结的时候难免出错,还望各位前辈不吝指正,谢谢。

    4)阅读本文需要机器学习、计算机视觉、神经网络等等基础(如果没有也没关系了,没有就看看,能不能看懂,呵呵)。

    5)此属于第一版本,若有错误,还需继续修正与增删。还望大家多多指点。大家都共享一点点,一起为祖国科研的推进添砖加瓦(呵呵,好高尚的目标啊)。请联系:zouxy09@qq.com

     

    目录:

    一、概述

    二、背景

    三、人脑视觉机理

    四、关于特征

           4.1、特征表示的粒度

           4.2、初级(浅层)特征表示

           4.3、结构性特征表示

           4.4、需要有多少个特征?

    五、Deep Learning的基本思想

    六、浅层学习(Shallow Learning)和深度学习(Deep Learning)

    七、Deep learning与Neural Network

    八、Deep learning训练过程

           8.1、传统神经网络的训练方法

           8.2、deep learning训练过程

    九、Deep Learning的常用模型或者方法

           9.1、AutoEncoder自动编码器

           9.2、Sparse Coding稀疏编码

           9.3、Restricted Boltzmann Machine(RBM)限制波尔兹曼机

           9.4、Deep BeliefNetworks深信度网络

           9.5、Convolutional Neural Networks卷积神经网络

    十、总结与展望

    十一、参考文献和Deep Learning学习资源

     

    一、概述

           Artificial Intelligence,也就是人工智能,就像长生不老和星际漫游一样,是人类最美好的梦想之一。虽然计算机技术已经取得了长足的进步,但是到目前为止,还没有一台电脑能产生“自我”的意识。是的,在人类和大量现成数据的帮助下,电脑可以表现的十分强大,但是离开了这两者,它甚至都不能分辨一个喵星人和一个汪星人。

           图灵(图灵,大家都知道吧。计算机和人工智能的鼻祖,分别对应于其著名的“图灵机”和“图灵测试”)在 1950 年的论文里,提出图灵试验的设想,即,隔墙对话,你将不知道与你谈话的,是人还是电脑。这无疑给计算机,尤其是人工智能,预设了一个很高的期望值。但是半个世纪过去了,人工智能的进展,远远没有达到图灵试验的标准。这不仅让多年翘首以待的人们,心灰意冷,认为人工智能是忽悠,相关领域是“伪科学”。

            但是自 2006 年以来,机器学习领域,取得了突破性的进展。图灵试验,至少不是那么可望而不可及了。至于技术手段,不仅仅依赖于云计算对大数据的并行处理能力,而且依赖于算法。这个算法就是,Deep Learning。借助于 Deep Learning 算法,人类终于找到了如何处理“抽象概念”这个亘古难题的方法。


           2012年6月,《纽约时报》披露了Google Brain项目,吸引了公众的广泛关注。这个项目是由著名的斯坦福大学的机器学习教授Andrew Ng和在大规模计算机系统方面的世界顶尖专家JeffDean共同主导,用16000个CPU Core的并行计算平台训练一种称为“深度神经网络”(DNN,Deep Neural Networks)的机器学习模型(内部共有10亿个节点。这一网络自然是不能跟人类的神经网络相提并论的。要知道,人脑中可是有150多亿个神经元,互相连接的节点也就是突触数更是如银河沙数。曾经有人估算过,如果将一个人的大脑中所有神经细胞的轴突和树突依次连接起来,并拉成一根直线,可从地球连到月亮,再从月亮返回地球),在语音识别和图像识别等领域获得了巨大的成功。

           项目负责人之一Andrew称:“我们没有像通常做的那样自己框定边界,而是直接把海量数据投放到算法中,让数据自己说话,系统会自动从数据中学习。”另外一名负责人Jeff则说:“我们在训练的时候从来不会告诉机器说:‘这是一只猫。’系统其实是自己发明或者领悟了“猫”的概念。”

      

           2012年11月,微软在中国天津的一次活动上公开演示了一个全自动的同声传译系统,讲演者用英文演讲,后台的计算机一气呵成自动完成语音识别、英中机器翻译和中文语音合成,效果非常流畅。据报道,后面支撑的关键技术也是DNN,或者深度学习(DL,DeepLearning)。

           2013年1月,在百度年会上,创始人兼CEO李彦宏高调宣布要成立百度研究院,其中第一个成立的就是“深度学习研究所”(IDL,Institue of Deep Learning)。

     

           为什么拥有大数据的互联网公司争相投入大量资源研发深度学习技术。听起来感觉deeplearning很牛那样。那什么是deep learning?为什么有deep learning?它是怎么来的?又能干什么呢?目前存在哪些困难呢?这些问题的简答都需要慢慢来。咱们先来了解下机器学习(人工智能的核心)的背景。

     

    二、背景

          机器学习(Machine Learning)是一门专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能的学科。机器能否像人类一样能具有学习能力呢?1959年美国的塞缪尔(Samuel)设计了一个下棋程序,这个程序具有学习能力,它可以在不断的对弈中改善自己的棋艺。4年后,这个程序战胜了设计者本人。又过了3年,这个程序战胜了美国一个保持8年之久的常胜不败的冠军。这个程序向人们展示了机器学习的能力,提出了许多令人深思的社会问题与哲学问题(呵呵,人工智能正常的轨道没有很大的发展,这些什么哲学伦理啊倒发展的挺快。什么未来机器越来越像人,人越来越像机器啊。什么机器会反人类啊,ATM是开第一枪的啊等等。人类的思维无穷啊)。

            机器学习虽然发展了几十年,但还是存在很多没有良好解决的问题:


            例如图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐等等。目前我们通过机器学习去解决这些问题的思路都是这样的(以视觉感知为例子):


            从开始的通过传感器(例如CMOS)来获得数据。然后经过预处理、特征提取、特征选择,再到推理、预测或者识别。最后一个部分,也就是机器学习的部分,绝大部分的工作是在这方面做的,也存在很多的paper和研究。

            而中间的三部分,概括起来就是特征表达。良好的特征表达,对最终算法的准确性起了非常关键的作用,而且系统主要的计算和测试工作都耗在这一大部分。但,这块实际中一般都是人工完成的。靠人工提取特征。


           截止现在,也出现了不少NB的特征(好的特征应具有不变性(大小、尺度和旋转等)和可区分性):例如Sift的出现,是局部图像特征描述子研究领域一项里程碑式的工作。由于SIFT对尺度、旋转以及一定视角和光照变化等图像变化都具有不变性,并且SIFT具有很强的可区分性,的确让很多问题的解决变为可能。但它也不是万能的。


           然而,手工地选取特征是一件非常费力、启发式(需要专业知识)的方法,能不能选取好很大程度上靠经验和运气,而且它的调节需要大量的时间。既然手工选取特征不太好,那么能不能自动地学习一些特征呢?答案是能!Deep Learning就是用来干这个事情的,看它的一个别名UnsupervisedFeature Learning,就可以顾名思义了,Unsupervised的意思就是不要人参与特征的选取过程。

           那它是怎么学习的呢?怎么知道哪些特征好哪些不好呢?我们说机器学习是一门专门研究计算机怎样模拟或实现人类的学习行为的学科。好,那我们人的视觉系统是怎么工作的呢?为什么在茫茫人海,芸芸众生,滚滚红尘中我们都可以找到另一个她(因为,你存在我深深的脑海里,我的梦里 我的心里 我的歌声里……)。人脑那么NB,我们能不能参考人脑,模拟人脑呢?(好像和人脑扯上点关系的特征啊,算法啊,都不错,但不知道是不是人为强加的,为了使自己的作品变得神圣和高雅。)

            近几十年以来,认知神经科学、生物学等等学科的发展,让我们对自己这个神秘的而又神奇的大脑不再那么的陌生。也给人工智能的发展推波助澜。

     

    三、人脑视觉机理

           1981 年的诺贝尔医学奖,颁发给了 David Hubel(出生于加拿大的美国神经生物学家) 和TorstenWiesel,以及 Roger Sperry。前两位的主要贡献,是“发现了视觉系统的信息处理”:可视皮层是分级的:


            我们看看他们做了什么。1958 年,DavidHubel 和Torsten Wiesel 在 JohnHopkins University,研究瞳孔区域与大脑皮层神经元的对应关系。他们在猫的后脑头骨上,开了一个3 毫米的小洞,向洞里插入电极,测量神经元的活跃程度。

          然后,他们在小猫的眼前,展现各种形状、各种亮度的物体。并且,在展现每一件物体时,还改变物体放置的位置和角度。他们期望通过这个办法,让小猫瞳孔感受不同类型、不同强弱的刺激。

           之所以做这个试验,目的是去证明一个猜测。位于后脑皮层的不同视觉神经元,与瞳孔所受刺激之间,存在某种对应关系。一旦瞳孔受到某一种刺激,后脑皮层的某一部分神经元就会活跃。经历了很多天反复的枯燥的试验,同时牺牲了若干只可怜的小猫,David Hubel 和Torsten Wiesel 发现了一种被称为“方向选择性细胞(Orientation Selective Cell)”的神经元细胞。当瞳孔发现了眼前的物体的边缘,而且这个边缘指向某个方向时,这种神经元细胞就会活跃。

           这个发现激发了人们对于神经系统的进一步思考。神经-中枢-大脑的工作过程,或许是一个不断迭代、不断抽象的过程。

           这里的关键词有两个,一个是抽象,一个是迭代。从原始信号,做低级抽象,逐渐向高级抽象迭代。人类的逻辑思维,经常使用高度抽象的概念。

            例如,从原始信号摄入开始(瞳孔摄入像素 Pixels),接着做初步处理(大脑皮层某些细胞发现边缘和方向),然后抽象(大脑判定,眼前的物体的形状,是圆形的),然后进一步抽象(大脑进一步判定该物体是只气球)。


          这个生理学的发现,促成了计算机人工智能,在四十年后的突破性发展。

          总的来说,人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征,再到V2区的形状或者目标的部分等,再到更高层,整个目标、目标的行为等。也就是说高层的特征是低层特征的组合,从低层到高层的特征表示越来越抽象,越来越能表现语义或者意图。而抽象层面越高,存在的可能猜测就越少,就越利于分类。例如,单词集合和句子的对应是多对一的,句子和语义的对应又是多对一的,语义和意图的对应还是多对一的,这是个层级体系。

          敏感的人注意到关键词了:分层。而Deep learning的deep是不是就表示我存在多少层,也就是多深呢?没错。那Deep learning是如何借鉴这个过程的呢?毕竟是归于计算机来处理,面对的一个问题就是怎么对这个过程建模?

           因为我们要学习的是特征的表达,那么关于特征,或者说关于这个层级特征,我们需要了解地更深入点。所以在说Deep Learning之前,我们有必要再啰嗦下特征(呵呵,实际上是看到那么好的对特征的解释,不放在这里有点可惜,所以就塞到这了)。


    下续

    展开全文
  • 机器学习&深度学习系统实战!

    万人学习 2017-06-07 13:18:11
    数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程...
  • 深度学习导论 - 读李宏毅《1天搞懂深度学习

    万次阅读 多人点赞 2017-05-22 23:44:02
    ”《1天搞懂深度学习》,300多页的ppt,台湾李宏毅教授写的,非常棒。不夸张地说,是我看过最系统,也最通俗易懂的,关于深度学习的文章。“PPT下载地址 废话少说,先上干货,整个PPT的思维导图如下: 深度...

    ”《1天搞懂深度学习》,300多页的ppt,台湾李宏毅教授写的,非常棒。不夸张地说,是我看过最系统,也最通俗易懂的,关于深度学习的文章。“
    PPT下载地址

    废话少说,先上干货,整个PPT的思维导图如下:

     

    深度学习概论

    介绍深度学习

    作者非常浅显的指出机器(深度)学习过程非常简单,分为定义方法、判断方法的优劣、挑选出最佳的方法。

    对于深度学习,首先第一步定义方法 - 神经网络。深度学习顾名思义是指多层的神经网络。

    神经网络的思想来源于对于人脑的生理上的研究,人脑由数亿个神经元组成,神经元通过轴突互相连接通信。神经网络和人脑类似,存在多个层级(layer),每个层级都有多个节点(神经元),层级和层级之间相互连接(轴突),最终输出结果。

    对于神经网络的计算能力可以理解为通过一层层Layer的计算归纳,逐步的将抽象的原始数据变的具体。以图片识别为例,输入是一个个像素点,经过每层神经网络,逐步变化成为线、面、对象的概念,然后机器有能力能够识别出来。

     

     第二步,评估方法的优劣。

    Loss function是用于评估方法优劣,通常我们用学习出来的参数对测试数据进行计算,得出对应的预测(y)然后和真实的测试数据的目标值(t)进行比对,y和t之间的差距往往就是Loss。那么评估一个算法的好坏,就是要尽可能的降低Loss。

     

    第三步,如何获得最佳的学习方法

    获得最佳的学习是采用梯度下降算法,作者也提到梯度下降算法存在局部最优解的问题。人们往往认为机器无所不能,实际上更像是在一个地图上面拓荒,对周边一无所知。神经网络计算梯度的算法是反向传播算法,简称BP。

     

    Why Deep?

    作者首先指出越多的参数往往带来越好的预测能力,所以神经网络往往参数越多越好。那么如果是同样的参数情况下,为什么层级较多的表现会更好呢?

     

    作者认为深度网络可以带来模块化的好处,随着网络的层级,神经网络会将像素元素逐渐归纳出一些基本的特征,进而变成纹理,进而变成对象。

     

    训练方法

     

    作者总结下来训练过程中会发现了两种情况:

    1. 没有办法得到很好的训练结果 ---》 重新选择训练方式

    2. 没有办法得到很好的测试结果 ---》 往往由于过度拟合导致,需要重新定义方法

     

     

    优化训练方法的手段:

    1. 选择合适的Loss function:使用Cross Entropy效果要优于Mean Square Error

    2. Mini-batch: 每次训练使用少量数据而不是全量数据效率更高

    3. Activation Function:使用ReLU替代Sigmoid可以解决梯度消失的问题,可以训练更深的神经网络

    4. Adaptive Learning Rate:可以随着迭代不断自我调整,提高学习效率

    5. Momentum: 可以一定程度上避免陷入局部最低点的问题

     

    避免过度拟合(overfitting)的方法:

    1. Early Stopping:使用cross validation的方式,不断对validation data进行检验,一旦发现预测精度下降则停止。

    2. Weight Decay:参数正则化的一种方式?

    3. Dropout:通过随机去掉一些节点的连接达到改变网络形式,所以会产生出多种网络形态,然后汇集得到一个最佳结果

    4. Network Structure: 例如CNN等其他形态的网络

     

    神经网络变体

    Convolutional Neural Network (CNN)

    通常情况下,一个CNN包含多次的卷积、池化,然后Flatten,最终再通过一个深度神经网络进行学习预测。CNN在图像、语音识别取得非常好的成绩,核心的想法在于一些物体的特征往往可以提取出来,并且可能出现在图片的任何位置,而且通过卷积、池化可以大大减少输入数据,加快训练效率。

     

    Recurrent Neural Network (RNN)

    RNN的想法是可以将hidden layer的数据存储下来,然后作为输入给下一个网络学习。这种网络的想法可以解决自然语言中前后词语是存在关联性的,所以RNN可以把这些关联性放到网络中进行学习。

     

    其他前沿技术

    Ultra Deep Network:2015年出现了152层的Residual Net实现了图片3.57%错误率

     

    Reinforcement Learning: 通过奖励机制强化学习,并且做出相应的动作

    Unsupervised Learning:

    1. Deep Style

    2. 生成图片

     

    3. 无需人工介入理解文字的含义

     

    展开全文
  • AI深度学习

    2020-01-17 18:10:32
    AI深度学习
  • 吴恩达 Coursera DeepLearning.ai《深度学习》系列课程笔记目录总集

    作者大树先生
    博客http://blog.csdn.net/koala_tree
    知乎https://www.zhihu.com/people/dashuxiansheng
    GitHubhttps://github.com/MrLeeTree
    2018 年 4 月 5 日


    本文发布在知乎的专栏中,为了方便习惯使用CSDN的用户,更改了下面文章的直链到CSDN中的笔记。
    同时,也欢迎大家关注我的知乎:大树先生,会不定期有新的干货更新。一起学习一起进步呀!_


    DeepLearning.ai简介

    deepLearning.ai 是由吴恩达在Coursera上推出的一个教授深度学习的专题系列课程。整个专题共包括五门课程:01.神经网络和深度学习;02.改善深层神经网络-超参数调试、正则化以及优化;03.结构化机器学习项目;04.卷积神经网络;05.序列模型。

    课程描述:

    请允许我引用官网的介绍:

    如果你想进入人工智能,这个课程专题将会给你带来帮助。深度学习是科技领域最受追捧的技能之一,我们将帮助你进行学习这些知识。
    在五门课程中,你将学习深度学习的基础知识,了解如何构建神经网络,并学习如何实践机器学习项目,学习卷积网络,RNN,LSTM,Adam,Dropout,BatchNorm,Xavier/He初始化等等。你将从事医疗,自动驾驶,手语阅读,音乐创作和自然语言处理的案例研究。届时,你不但会掌握深度学习的基础理论,还会看到它在工业中的应用。上面的这些想法都将在Python和TensorFlow的练习中所实现。另外,你还将听到许多深度学习的高层领导,他们将与你分享他们的个人故事,并为你提供职业建议。
    AI正在对各行各业产生着巨大的影响,在完成此专题的课程后,你可能会找到创造性的方法将其应用到你的工作中。我们将帮助你掌握深度学习,了解如何使用它,帮助你建立AI的职业生涯。

    课程内容:

    • Coursera:官方课程安排(英文字幕)。付费用户在课程作业中可以获得作业评分,每门课程修完可获得结课证书;不付费可以免费上课、做课后作业,但没有作业评分,结课无法获得课程证书。
    • 网易云课堂:网易引进的正版授权(中英文字幕)。课程完全免费,但没有课后作业,没有课程证书。

    推荐指数:

    4.5 星(个人意见)
    目前已有的深度学习课程中难得的好课程。

    个人提炼笔记及编程作业总集

    下面是个人在上课的过程中,从中提炼的要点笔记,以及自己完成的课后编程作业。课程为主,练习为辅,笔记做巩固。所以建议大家以这样的核心思想来进行这门课程的学习。废话不多说,上笔记!


    01. 神经网络和深度学习

    • 神经网络概论
    • 主要介绍:神经网络的概念、深度学习兴起的原因、课程内容等;
    • 笔记:介绍性课程,没有做相应的笔记。
    • 编程作业:无
    • 神经网络基础
    • 浅层神经网络
    • 深层神经网络

    02. 改善深层神经网络:超参数调试、正则化以及优化

    • 深度学习的实践方面
    • 优化算法
    • 超参数调试和Batch Norm及框架

    03. 结构化机器学习项目

    • 机器学习策略(1)
    • 机器学习策略(2)

    04. 卷积神经网络

    • 卷积神经网络基础
    • 卷积神经网络实例模型
    • 目标检测
    • 特殊应用:人脸识别和神经风格迁移

    05. 序列模型

    • 循环神经网络
    • 自然语言处理和词嵌入
    • 序列模型和注意力机制

    总结

    整个专题课程的学习跨度比较长,在上课的过程中不断地思考做笔记的过程也确实缓慢而辛苦,但一路下来确实有了很大的收获。期初只是为了做一个自己后期进行复习的笔记,但后来感觉记录的笔记还算整洁,所以就放到知乎上和大家一起分享,希望我的这些能够给更多有同样需求的同学和朋友们带来小小的帮助。

    最后

    笔记属于课程的提炼,虽然总体来说已经较为全面了,但限于个人的能力和精力,笔记中难免会出现遗漏或者错误的地方。如果大家在阅读笔记的时候,发现了错误的地方以及觉得比较重要但我没有记录的内容,那么欢迎大家在下方评论留言或者私信给我,我将会及时做更正和补充,感谢支持。

    最后,感谢每位点赞的知友。同时,也欢迎其他平台的转载和分享,一起进步呀_!

    展开全文
  • 深度学习(二十九)Batch Normalization 学习笔记

    万次阅读 多人点赞 2016-03-12 17:00:38
    近年来深度学习捷报连连,声名鹊起,随机梯度下架成了训练深度网络的主流方法。尽管随机梯度下降法,将对于训练深度网络,简单高效,但是它有个毛病,就是需要我们人为的去选择参数,比如学习率、参数初始化等,这些...
  • 深度学习入门笔记(一):深度学习引言

    万次阅读 多人点赞 2019-09-09 18:02:57
    第一门课 神经网络和深度学习(Neural Networks and Deep Learning) 文章目录第一门课 神经网络和深度学习(Neural Networks and Deep Learning)第一周:深度学习引言(Introduction to Deep Learning)1.1 欢迎...
  • 深度学习框架Tensorflow案例实战视频培训课程概况: Tensorflow是谷歌开源的深度学习(包括机器学习)框架,伴随着人工智能业的兴盛其大名早已响彻云霄。本课程从Tensorflow安装开始讲起,从基本计算结构到深度学习...
  • 本文主要回忆上课所讲的一些关于机器学习与深度学习的基本概念,以此来达到强化记忆与深度理解的目的。
  • 深度学习与计算机视觉

    千人学习 2020-07-13 17:12:35
    】 1、零基础入门计算视觉,学习掌握并应用从经典图像处理到深度学习分类任务的要点知识 2、掌握数据增强,迁移学习等优化技巧,搭建实用的深度学习应用模型 3、学习完课程,可以独立应用多个经典算法和深度学习算法...
  • 深度学习(1): 深度学习简介

    千次阅读 多人点赞 2019-08-09 11:10:29
    文章目录1 什么是深度学习?2 深度学习应用2.1 机器学习的一般方法2.2 深度学习的一般方法3 GPU的迅速发展3.1 GPU与显卡的区别3.2 GPU 与 CPU 区别3.3 GPU种类参考资料 注:转载请标明原文出处链接:...
  • 深度学习入门及深度学习学习路线

    万次阅读 多人点赞 2017-08-30 15:13:20
    前段时间无意间看到一些深度学习方面的资料,个人觉得写的实在是太精彩了,必须得推荐给他大家。目前只更新了7篇博客,里面包含了原理(即数学推导)和实践(代码实现),对于入门来讲实在是合适不过的了。 声明:...
  • 本人在读研期间的研究方向是图像处理以及深度学习(主要是图像分类和目标检测)。在做深度学习时使用的是tensorflow深度学习框架,学习全是自学,很多资源都是在Github上找的。我发现现在Github上很多深度学习的开源...
  • 基于深度学习的命名实体识别与关系抽取

    万次阅读 多人点赞 2019-07-18 22:12:50
    基于深度学习的命名实体识别与关系抽取 摘要:构建知识图谱包含四个主要的步骤:数据获取、知识抽取、知识融合和知识加工。其中最主要的步骤是知识抽取。知识抽取包括三个要素:命名实体识别(NER)、实体关系抽取...
  • 深度学习(一)深度学习学习资料

    万次阅读 多人点赞 2015-05-01 20:22:28
    hjimce一、学习清单1、综合类(1)收集了各种最新最经典的文献,神经网络的资源列表:https://github.com/robertsdionne/neural-network-papers 里面包含了深度学习领域经典、以及最新最牛逼的算法,如果把这个列表学...
  • 深度学习与PyTorch实战

    万人学习 2019-12-30 10:00:44
    系列课程包括深度学习中经典网络架构,结合计算机视觉与自然语言处理两大核心模块展开原理 分析与项目实战。通俗讲解深度学习中两大经典网络架构CNN与RNN模型,结合当下最主流PyTorch框架进行实战演练,选择当下NLP...
  • 深度学习入门视频课程

    万人学习 2017-01-24 13:38:50
    购买课程后,添加小助手微信(微信号:csdnxy68)回复【唐宇迪】 进入学习群,获取唐宇迪老师答疑 课程首先通俗讲解神经网络核心知识点再对整体网络构架进行分析...整体风格通俗易懂,最接地气的深度学习入门实战课程!
  • 入门深度学习部分 第一部分:感知机部分 零基础入门深度学习-感知机 第二部分:线性单元和梯度下降 零基础入门深度学习-线性单元和梯度下降 第三部分:神经网络和反向传播算法 零基础入门深度学习-神经网络和反向...
  • 深度学习入门书籍推荐: 想入门深度学习却不知道该如何下手?我整理了这份知识清单。 希望能够节省你的时间,对你有所帮助。 2019 年最佳机器学习和深度学习书籍的名单: 《深度学习》by Ian Goodfellow, Yoshua ...
  • [深度学习概念]·深度学习简介

    千次阅读 2019-01-19 14:13:22
    目录 有监督的学习 半监督学习 无监督学习(又名Hebbian学习...从社交网络过滤到自动驾驶汽车,再到电影推荐,金融欺诈检测,药物发现……深度学习影响着我们的生活和决策。 在这一文章中,将尽可能简单易懂地解...
  • 深度学习(DL):深度学习是机器学习的一个分支,是指一类问题以及解决这类问题的方法。 神经网络(ANNs):又称人工神经网络,是由人工神经元以及神经元之间的连接构成,其中有两类特殊的神经元: 一类是用来接受外部...
  • 深度学习及机器学习

    千次阅读 多人点赞 2018-11-21 21:15:23
    深度学习深度学习基础论文阅读机器学习模型 深度学习基础 【深度学习基础】《深度学习》李宏毅 【深度学习基础】正则化 (18.11.21) 【深度学习基础】正反向传播 (18.11.21) 论文阅读 YOLO mask-RCNN SSD 机器...
  • 系列课程从深度学习最核心模块神经网络开始讲起,将复杂的神经网络分模块攻克。由神经网络过度到深度学习,详解深度学习中最核心网络卷积神经网络与递归神经网络。选择深度学习当下最流行框架Tensorflow进行案例实战...
  • 最近开始学习深度学习,基本上都是zouxy09博主的文章,写的蛮好,很全面,也会根据自己的思路,做下删减,细化。 Deep Learning的基本思想  假设我们有一个系统S,它有n层(S1,…Sn),它的输入是I,输出是O,...
  • 介绍深度学习中内存的开销来源,以及降低内存需求的几种解决方案。
  • [深度学习]如何选择深度学习框架

    千次阅读 2019-04-03 20:47:53
    不管是前端技术框架还是后端技术框架以及在深度学习技术框架,我们在决定使用前,都需要考虑以下几个方面,也就是我们在选型上通用的依据,这里以深度学习框架选型举例子: 1) 性能方面 性能方面一部分主要由实现...
  • 深度学习实战之垃圾分类

    万次阅读 多人点赞 2019-08-31 21:00:01
    然而我们在日常生活中认为对垃圾分类还是有些不知所措的,对干垃圾、湿垃圾……分的不是很清楚,由此我们就想到了使用深度学习的方法进行分类。 简介 本篇博文主要会带领大家进行数据的预处理、网络搭建、模型训练...
  • 深度学习大神

    千次阅读 2018-02-21 12:28:27
    深度学习大神深度学习大神深度学习大神深度学习大神深度学习大神深度学习大神深度学习大神深度学习大神深度学习大神深度学习大神深度学习大神深度学习大神...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 230,707
精华内容 92,282
关键字:

深度学习