精华内容
下载资源
问答
  • 深度学习发展历程

    2020-09-15 15:33:04
    神经网络 一、神经元 1943年,心理学家McCulloch和数学家Pitts参考了生物神经元的结构,发表了抽象的神经元模型MP。... 3、效果 三、深度学习(多层神经网络) 四、Softmax分类 五、梯度下降 图像识别 卷积层 图像检测

    神经网络

    一、神经元
    1943年,心理学家McCulloch和数学家Pitts参考了生物神经元的结构,发表了抽象的神经元模型MP。
    在这里插入图片描述 在这里插入图片描述
    1、结构
    神经元模型是一个包含输入,输出与计算功能的模型。输入可以类比为神经元 的树突,而输出可以类比为神经元的轴突,计算则可以类比为细胞核。
      下图是一个典型的神经元模型:包含有3个输入,1个输出,以及2个计算功能。
      注意中间的箭头线。这些线称为“连接”。每个上有一个“权值”。
    在这里插入图片描述
    连接是神经元中最重要的东西。每一个连接上都有一个权重。

    一个神经网络的训练算法就是让权重的值调整到最佳,以使得整个网络的预测效果最好。

    我们使用a来表示输入,用w来表示权值。一个表示连接的有向箭头可以这样理解:在初端,传递的信号大小仍然是a,端中间有加权参数w,经过这个加权后的信号会变成aw,因此在连接的末端,信号的大小就变成了aw。

    可见z是在输入和权值的线性加权和叠加了一个函数g的值。在MP模型里,函数g是sgn函数,也就是取符号函数。这个函数当输入大于0时,输出1,否则输出0。

    下面对神经元模型的图进行一些扩展。首先将sum函数与sgn函数合并到一个圆圈里,代表神经元的内部计算。其次,把输入a与输出z写到连接线的左上方,便于后面画复杂的网络。最后说明,一个神经元可以引出多个代表输出的有向箭头,但值都是一样的。

    神经元可以看作一个计算与存储单元。计算是神经元对其的输入进行计算功能。存储是神经元会暂存计算结果,并传递到下一层。
    在这里插入图片描述
    当我们用“神经元”组成网络以后,描述网络中的某个“神经元”时,我们更多地会用“单元”(unit)来指代。同时由于神经网络的表现形式是一个有向图,有时也会用“节点”(node)来表达同样的意思。
    二、感知机(单层神经网络)
    1、印字
    1958年,计算科学家Rosenblatt提出了由两层神经元组成的神经网络。他给它起了一个名字–“感知器”(Perceptron)(有的文献翻译成“感知机”,下文统一用“感知器”来指代)。

    感知器是当时首个可以学习的人工神经网络。Rosenblatt现场演示了其学习识别简单图像的过程,在当时的社会引起了轰动。

    人们认为已经发现了智能的奥秘,许多学者和科研机构纷纷投入到神经网络的研究中。美国军方大力资助了神经网络的研究,并认为神经网络比“原子弹工程”更重要。这段时间直到1969年才结束,这个时期可以看作神经网络的第一次高潮。
    2、结构
    下面来说明感知器模型。

    在原来MP模型的“输入”位置添加神经元节点,标志其为“输入单元”。其余不变,于是我们就有了下图:从本图开始,我们将权值w1, w2, w3写到“连接线”的中间。
    在这里插入图片描述
    在“感知器”中,有两个层次。分别是输入层和输出层。输入层里的“输入单元”只负责传输数据,不做计算。输出层里的“输出单元”则需要对前面一层的输入进行计算。

    我们把需要计算的层次称之为“计算层”,并把拥有一个计算层的网络称之为“单层神经网络”。有一些文献会按照网络拥有的层数来命名,例如把“感知器”称为两层神经网络。但在本文里,我们根据计算层的数量来命名。

    假如我们要预测的目标不再是一个值,而是一个向量,例如[2,3]。那么可以在输出层再增加一个“输出单元”。
    在这里插入图片描述
    如果我们仔细看输出的计算公式,会发现这两个公式就是线性代数方程组。因此可以用矩阵乘法来表达这两个公式。

    例如,输入的变量是[a1,a2,a3]T(代表由a1,a2,a3组成的列向量),用向量a来表示。方程的左边是[z1,z2]T,用向量z来表示。

    系数则是矩阵W(2行3列的矩阵,排列形式与公式中的一样)。

    于是,输出公式可以改写成:

    g(W * a) = z;

    这个公式就是神经网络中从前一层计算后一层的矩阵运算。
    3、效果
    三、深度学习(多层神经网络)
    四、Softmax分类
    五、梯度下降

    图像识别

    卷积层

    图像检测

    展开全文
  • 深度学习发展历程全讲解

    千次阅读 2020-11-24 10:48:08
    深度学习发展历程 的 地方 发

    深度学习发展历程

    1 基本概念

    人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学,是计算机科学的一个分支。人工智能就是研究如何使计算机去做过去只有人才能做的智能工作。研究如何让计算机去完成以往需要人的智力才能胜任的工作,也就是研究如何应用计算机的软硬件来模拟人类某些智能行为的基本理论、方法和技术。该领域的研究包括语音识别、图像识别、机器人、自然语言处理、智能搜索和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能,但能像人那样思考、也有可能超过人的智能。
    机器学习是一门多学科交叉专业,涵盖概率论知识,统计学知识,近似理论知识和复杂算法知识,使用计算机作为工具并致力于真实实时的模拟人类学习方式,并将现有内容进行知识结构划分来有效提高学习效率。是研究怎样使用计算机模拟或实现人类学习活动的科学,是人工智能中最具智能特征,最前沿的研究领域之一。
    深度学习是机器学习的一种,而机器学习是实现人工智能的必经路径。深度学习的概念源于人工神经网络的研究,含多个隐藏层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。研究深度学习的动机在于建立模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本等。ANN本质上是一种运算模型, 由大量的神经元节点相互连接构成。每个节点可以当做是一个神经元, 节点中包含激励函数, 根据其输入判断其输出。深度学习本质上是一种新兴的机器学习算法, 其基本模型框架是基于ANN的, 如含有多隐层的感知器。深度学习概念由Hinton于2006年在《Science》上发表的论文《Deep Learning》提出。(刘俊一.基于人工神经网络的深度学习算法综述[J].中国新通信,2018,20(06):193-194.)
    (1)严格意义上说,人工智能和机器学习没有直接关系,只不过目前机器学习的方法被大量的应用于解决人工智能的问题而已。目前机器学习是人工智能的一种实现方式,也是最重要的实现方式。早期的机器学习实际上是属于统计学,而非计算机科学的;而二十世纪九十年代之前的经典人工智能跟机器学习也没有关系。
    (2)深度学习是机器学习研究中的一个新的领域,是机器学习现在比较火的一个方向,其本身是神经网络算法的衍生,在图像、语音等富媒体的分类和识别上取得了非常好的效果。其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。

    在这里插入图片描述

    2人工智能发展和内容

    2.1 AI目标

    (1)逻辑推理。使计算机能够完成人类能够完成的复杂心理任务。例如下棋和解代数问题。
    (2)知识表达。使计算机能够描述对象,人员和语言。例如能使用面向对象的编程语言 Smalltalk。
    (3)规划和导航。使计算机从A点到B点。例如,第一台自动驾驶机器人建于20世纪60年代初。
    (4)自然语言处理。使计算机能够理解和处理语言。例如把英语翻译成俄语,或者把俄语翻译成英语。
    (5)感知。让电脑通过视觉,听觉,触觉和嗅觉与世界交流。
    (6)紧急智能。也就是说,智能没有被明确地编程,而是从其他AI特征中明确体现。这个设想的目的是让机器展示情商,道德推理等等。

    2.2 AI领域

    (1)机器学习是人工智能领域,使计算机不用明确编程就能学习。
    (2)搜索和优化算法,如梯度下降迭代搜索局部最大值或最小值。
    (3)约束满足是找到一组约束的解决方案的过程,这些约束施加变量必须满足的条件。
    (4)逻辑推理。人工智能中逻辑推理的例子是模拟人类专家决策能力的专家计算机系统。
    (5)概率推理是将概率论的能力去处理不确定性和演绎逻辑的能力来利用形式论证的结构结合起来。其结果是一个更丰富和更具表现力的形式主义与更广泛应用领域。
    (6)控制理论是一种正式的方法来找到具有可证性的控制器。这通常涉及描述像机器人或飞机这样的物理系统的微分方程组。

    在这里插入图片描述

    3 机器学习发展内容

    3.1 发展阶段

    1950年(艾伦.图灵提议建立一个学习机器),从20世纪50年代研究机器学习以来,不同时期的研究途径和目标并不相同,可以划分为四个阶段。
    第一阶段是20世纪50年代中叶到60年代中叶,这个时期主要研究“有无知识的学习”。
    第二阶段从20世纪60年代中叶到70年代中叶,这个时期主要研究将各个领域的知识植入到系统里,在本阶段的目的是通过机器模拟人类学习的过程。比如专家系统。
    第三阶段从20世纪70年代中叶到80年代中叶,称为复兴时期。在此期间,人们从学习单个概念扩展到学习多个概念,探索不同的学习策略和学习方法,且在本阶段已开始把学习系统与各种应用结合起来,并取得很大的成功。
    第四阶段20世纪80年代中叶,是机器学习的最新阶段。机器学习已成为新的学科,它综合应用了心理学、生物学、神经生理学、数学、自动化和计算机科学等形成了机器学习理论基础。

    3.2 任务

    机器学习的研究主要分为两类研究方向:第一类是传统机器学习的研究,该类研究主要是研究学习机制,注重探索模拟人的学习机制;第二类是大数据环境下机器学习的研究,该类研究主要是研究如何有效利用信息,注重从巨量数据中获取隐藏的、有效的、可理解的知识。
    根据训练数据是否拥有标记信息,学习任务可大致划分为两大类"监督学习" (supervised learning) 和"无监督学习" (unsupervised learning),亦称“有导师学习“和 “无导师学习”确切地说,是"未见示例" (unseen instance)。分类和回归是前者的代表,而聚类则是后者的代表。

    3.3目标

    机器学习的目标是使学得的模型能很好地适用于"新样本", 而不是仅仅在训练样本上工作得很好; 学得模型适用于新样本的能力,称为"泛化" (generalization)能力.具有强泛化能力的模型能很好地适用于整个样本空间.于是,尽管训练集通常只是样本需间的一个很小的采样,我们仍希望它能很好地反映出样本空间的特性,否则就很难期望在训练集上学得的模型能在整个样本空间上都工作得很好。

    3.4算法

    机器学习的经典算法主要有五种类型,分别为:
    (1)聚类算法,采用各种距离度量技术将一系列的数据点划分到K类中,划分后的聚类结构具有类内相似、类间差距最大的特点。
    (2)分类算法,事先按照一定的标准给一组对象集合进行分类,并赋予类标签,训练出学习模型,利用该模型对未知对象进行分类。
    (3)回归算法,综合考虑整个数据集中因变量和自变量之间的关系进行建模, 进而利用模型对给定的自变量进行计算得到预测值。
    (4)关联规则算法,在整个事务型数据中分析同时出现次数较多的频繁项集,并将出现次数满足一定阈值的频繁项集作为关联项集。
    (5)降维算法,在机器学习过程中由于对象属性较多,为了降低计算复杂度利用各种度量技术将高维空间中的数据转换成低维空间中的数据。(摘自:并行机器学习算法基础体系前沿进展综述)
    (1)人工智能的常用十种算法_人工智能_fanyun的博客-CSDN博客 https://blog.csdn.net/fanyun_01/article/details/83505856
    (2)(5条消息)人工智能常见算法简介_人工智能_nfzhlk的专栏-CSDN博客 https://blog.csdn.net/nfzhlk/article/details/82725769?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase
    (3)周志华老师的西瓜书很不错。

    3.5 学习方式

    机器学习按照学习方法分类可分为:监督学习、无监督学习、半监督学习和强化学习、若监督学习。
    (1)监督学习(Supervised learning),监督学习指的是用打好标签的数据训练预测新数据的类型或值。
    (2)无监督学习(Unsupervised learning),无监督学习是在数据没有标签的情况下做数据挖掘, 无监督学习主要体现在聚类。简单来说是将数据根据不同的特征在没有标签的情况下进行分类。无监督学习的典型方法有k-聚类及主成分分析等。
    (3)半监督学习(Semi-Supervised learning),半监督学习根据字面意思可以理解为监督学习和无监督学习的混合使用。事实上是学习过程中有标签数据和无标签数据相互混合使用。一般情况下无标签数据比有标签数据量要多得多。
    (4)强化学习(Reinforcement learning),强化学习是通过与环境的交互获得奖励, 并通过奖励的高低来判断动作的好坏进而训练模型的方法,可以得到一个延迟的反馈,并且只有提示你是离答案越来越近还是越来越远。
    (5)弱监督学习,弱监督通常分为三种类型:不完全监督(半监督学习)、不确切监督、不准确监督。不确切监督:训练的数据有一个弱标签,希望通过深度学习,得到一个强标签。比如说,知道一张图片是一只猫,通过训练知道猫在那里,将猫和背景分离开来。不准确监督:有些标签是错误的,不准确的。

    4深度学习发展内容

    4.1 深度学习的发展历程

    (1)1943年, 心理学家McCulloch和数理逻辑学家Pitts提出了神经元的第1个数学模型———MP模型(以他们两的名字命名)[1]. 它大致模拟了人类神经元的工作原理, 但需要手动设置权重, 十分不便。MP模型具有开创意义, 为后来的研究工作提供了依据.
    (2)1958年, Rosenblatt[2]教授提出了感知机模型 (perceptron) , Rosenblatt在MP模型的基础之上增加了学习功能, 提出了单层感知器模型, 第一次把神经网络的研究付诸实践[2, 3]. 尽管相比MP模型, 该模型能更自动合理地设置权重, 但同样存在较大的局限, 难以展开更多的研究。
    (3)Minsky教授于和Paper教授于1969年证明了感知机模型只能解决线性可分问题, 不能够处理线性不可分问题,并且否定了多层神经网络训练的可能性, 甚至提出了“基于感知机的研究终会失败”的观点, 此后十多年的时间内, 神经网络领域的研究基本处于停滞状态。
    (4)20世纪80年代, 计算机飞速发展, 计算能力相较以前也有了质的飞跃。直至1986年, Rumelhart等人[4] 在Nature上发表文章,提出了一种按误差逆传播算法训练的多层前馈网络—反向传播网络 (Back PropagationNetwork, BP网络) , 解决了原来一些单层感知器所不能解决的问题. BP算法的提出不仅有力地回击了Minsky教授等人的观点, 更引领了神经网络研究的第二次高潮。随后, 玻尔兹曼机、卷积神经网络、循环神经网络等神经网络结构模型均在这一时期得到了较好的发展。
    (5)由于在20世纪90年代, 各种浅层机器学习模型相继被提出, 较经典的如支持向量机[5], 而且当增加神经网络的层数时传统的BP网络会遇到局部最优、过拟合及梯度扩散等问题, 这些使得深度模型的研究被搁置.
    (6)1990 年, LeCun等[4]提出了现代 CNN 框架的原始版本, 之后又对其进行了改进, 于1998年提出了基于梯度学习的CNN模型——LeNet-5[5], 并将其成功应用于手写数字字符的识别中, 1998年的LeNet.最早提出了卷积神经网络,并用于手写数字识别.只是由于当时缺乏大规模的训练数据, 计算机的计算能力也有限, 所以LeNet在解决复杂问题 (例如大规模的图像和视频分类问题) 时, 效果并不好(陈超,齐峰.卷积神经网络的发展及其在计算机视觉领域中的应用综述[J].计算机科学,2019,46(03):63-73.)这篇paper写的很好。
    (7)2006年, 机器学习领域泰斗Hinton[5]及其团队在Science上发表了关于神经网络理念突破性的文章, 首次提出了深度学习的概念, 并指明可以通过逐层初始化来解决深度神经网络在训练上的难题。该理论的提出再次激起了神经网络领域研究的浪潮。Hinton教授解决了BP神经网络算法梯度消失的问题, 深度学习的思想再次回到了大众的视野之中, 也正因为如此, 2006年被称为是深度学习发展的元年。
    前6个发展历史的参考文献(付文博,孙涛,梁藉,闫宝伟,范福新.深度学习原理及应用综述[J].计算机科学,2018,45(S1):11-15+40.)(周飞燕,金林鹏,董军.卷积神经网络研究综述[J].计算机学报,2017,40(06):1229-1251.)
    (8)2011年, 吴恩达领导Google科学家们用16000台电脑成功模拟了一个人脑神经网络;
    (9)2012年, Hinton教授带领团队参加ImageNet图像识别比赛。在比赛中, Hinton团队所使用的深度学习算法一举夺魁, 其性能达到了碾压第二名SVM算法的效果, 自此深度学习的算法思想受到了业界研究者的广泛关注。深度学习的算法也渐渐在许多领域代替了传统的统计学机器学习方法, 成为人工智能中最热门的研究领域(周晟颐.深度学习技术综述[J].科技传播,2018,10(20):116-118.DOI:10.16607/j.cnki.1674-6708.2018.20.058)
    (10)2013年, 欧洲委员会发起模仿人脑的超级计算机项目, 同年1月, 百度宣布成立深度学习研究院。
    (11)2014年, 2014 年出现了两个很有影响力的卷积神经网络模型——依旧致力于加深模型层数的 VGGNet 和在模型结构上进行优化的 Inception Net深度学习模型Top-5在ImageNet 2014计算机识别竞赛上拔得头筹, 同年, 腾讯和京东也分别成立了自己的深度学习研究室。
    (12)2014年, 生成对抗网络[6]的提出是深度学习的又一突破性进展, 将生成模型和判别模型紧密联系起来。(乔风娟,郭红利,李伟,李彬.基于SVM的深度学习分类研究综述[J].齐鲁工业大学学报,2018,32(05):39-44.DOI:10.16442/j.cnki.qlgydxxb.2018.05.008)
    (13)2016年, AlphaGo击败围棋世界冠军李在石, 同年9月, 中国科学院计算技术研究所发布“寒武纪1A”深度神经元网络处理器。这一切都显著地表明了一个事实:深度学习正在有条不紊地发展着, 其影响力不断扩大。(付文博,孙涛,梁藉,闫宝伟,范福新.深度学习原理及应用综述[J].计算机科学,2018,45(S1):11-15+40.)

    在这里插入图片描述

    这篇文章写的很详细(张荣,李伟平,莫同.深度学习研究综述[J].信息与控制,2018,47(04):385-397+410.DOI:10.13976/j.cnki.xk.2018.8091)

    2008年到2017年知网上深度学习相关论文发表数量和比例趋势图

    在这里插入图片描述

    对一幅图像来说,像素级的特征是没有意义的复杂的图像都是由一些基本的图像构成。

    在这里插入图片描述
    在这里插入图片描述

    4.2深度学习算法

    4.2.1 神经网络的本质:

    在这里插入图片描述

    ![在这里插入图片描述](https://img-blog.csdnimg.cn/2021040209103818.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW90aWln,size_16,color_FFFFFF,t_70
    理解具有全连接层的神经网络的一个方式是:可以认为它们定义了一个由一系列函数组成的函数族,网络的权重就是每个函数的参数。

    神经网络可以近似任何连续函数。

    基于深度学习的算法有分类和回归两类。回归问题指预测出一个连续值的输出, 例如可以通过房价数据的分析, 根据样本的数据输入进行拟合, 进而得到一条连续的曲线用来预测房价。分类问题指预测一个离散值的输出, 例如根据一系列的特征判断当前照片是狗还是猫, 输出值就是1或者0。
    深度学习是一类模式分析方法的统称,就具体研究内容而言,主要涉及6类方法:
    (1)基于卷积运算的神经网络系统,即卷积神经网络(CNN)。
    (2)基于多层神经元的自编码神经网络,包括自编码( Auto encoder)以及近年来受到广泛关注的稀疏编码两类( Sparse Coding)。
    (3)以多层自编码神经网络的方式进行预训练,进而结合鉴别信息进一步优化神经网络权值的深度置信网络(DBN)。
    (4)限制玻尔兹曼机(RestrictedBoltzmann Machine,RBM)
    (5)循环神经网络(Recurrent Neural Network,RNN)
    (6)生成对抗网络 (GAN)
    深度神经网络分为以下3类( 如下图所示) .

    1. 前馈深度网络 ( feed-forward deep networks, FFDN) ,由多个编码器层叠加而成,如多层感知机 ( multi-layer perceptrons,MLP)[31-32]、卷积神经网络 (convolutional neural networks,CNN)[33-34]等.
    2. 反馈深度网络 ( feed-back deep networks, FBDN) ,由多个解码器层叠加而成,如反卷积网络 ( deconvolutional networks,DN)[30]、层次稀疏编码网络(hierarchical sparse coding,HSC)[35]等.
    3. 双向深度网络( bi-directional deep networks, BDDN) ,通过叠加多个编码器层和解码器层构成 ( 每层可能是单独的编码过程或解码过程,也可能既包含编码过程也包含解码过程) ,如深度玻尔兹曼机( deep Boltzmann machines,DBM)[36-37]、深度信念网络( deep belief networks,DBN)[26]、栈式自编码器( stackedauto-encoders,SAE)[38]等. (尹宝才,王文通,王立春.深度学习研究综述[J].北京工业大学学报,2015,41(01):48-59.)
      在这里插入图片描述

    深度学习发展非常迅速, 涌现出诸多模型。深度置信网络、自编码器[9]、卷积神经网络[10]和循环神经网络[11]构成了早期的深度学习模型, 随后由这些模型演变出许多其他模型, 主要包括稀疏自编码器[12]、降噪自编码器[13]、堆叠降噪自编码器[14]、深度玻尔兹曼机[15]、深度堆叠网络[16]、深度对抗网络[17]和卷积深度置信网络[18]等([1]史加荣,马媛媛.深度学习的研究进展与发展[J].计算机工程与应用,2018,54(10):1-10.)
    在这里插入图片描述

    4.3 深度学习特点

    深度网络[12-13]包含多层非线性映射, 具有多个隐藏层, 每一层提取出相应的特征, 经过多层次的提取和结合, 得到更有利于分类的高级特征。其特点可以概括为: 1) 深层次,2) 非线性,3) 逐层特征提取,深度学习模型有支持向量机无法比拟的非线性函数逼近能力, 能够很好地提取并表达数据的特征, 深度学习模型的本质是特征学习器[30]。(乔风娟,郭红利,李伟,李彬.基于SVM的深度学习分类研究综述[J].齐鲁工业大学学报,2018,32(05):39-44.DOI:10.16442/j.cnki.qlgydxxb.2018.05.008)
    DNN 的两个非常重要的特征是多层和非线性.DNN 的两个非常重要的特征是多层和非线性[30],多[30],多层是为了符合分布式知识表达(1.1 节)的要求,非线性是为了解决更加复杂的问题(张政馗,庞为光,谢文静,吕鸣松,王义.面向实时应用的深度学习研究综述[J].软件学报,1-25.DOI:10.13328/j.cnki.jos.005946)。

    4.4 最新研究,很重要

    AutoML(Automated Machine Learning)[82]和神经架构搜索(Neural Architecture Search,NAS)的发展促进了深度学习模型的自动化设计.AutoML 是模型选择、特征抽取和超参数调优等一系列自动化方法,可以实现自 动训练有价值的模型.机器学习最耗费人力的部分主要是数据清洗和模型调参,而这部分过程如果采用自动化 方式实现将会加快网络模型的开发过程. (张政馗,庞为光,谢文静,吕鸣松,王义.面向实时应用的深度学习研究综述[J].软件学报,1-25.DOI:10.13328/j.cnki.jos.005946)
    另外可以将深度学习与svm结合,深度学习中全连接层将输出转化为一维向量,将得到的一维向量作为SVM的输入, 进行训练, 并在测试集上进行验证。(乔风娟,郭红利,李伟,李彬.基于SVM的深度学习分类研究综述[J].齐鲁工业大学学报,2018,32(05):39-44.DOI:10.16442/j.cnki.qlgydxxb.2018.05.008)
    随着人类社会的飞速发展,在越来越多复杂的现实场景任务中,需要利用 DL来自动学习大规模输入数据的抽象表征,并以此表征为依据进行自我激励的 RL,优化解决问 题 的 策 略.决问 题 的 策 略.由 此,谷 歌 的 人 工 智 能 研 究 团 队DeepMind创新性地将具有感知能力的 DL 和具有决策能力的 RL 相结合,形成了人工智能领域新的研究 热 点,即 深 度 强 化 学 习 (Deep ReinforcementLearning,DRL).(刘全,翟建伟,章宗长,钟珊,周倩,章鹏,徐进.深度强化学习综述[J].计算机学报,2018,41(01):1-27.)。
    (张昱航.基于端到端的深度网络优化算法[D].中国科学院大学(中国科学院深圳先进技术研究院),2020.这篇文章介绍的很详细

    5卷积神经网络发展内容

    5.1卷积神经网络介绍

    卷积神经网络具有局部感知、共享权重和池化降采样三大特点,被广泛应用于图像处理中(吴雨茜,王俊丽,杨丽,余淼淼.代价敏感深度学习方法研究综述[J].计算机科学,2019,46(05):1-12.)。广泛应用于图像分类和物体识别等场景.CNN 网络的架构可以用公式[3]来[3]来表示:输入层→(卷积层+→池化层?)+→全连接层+,其中“卷积层+”表示一层或多层卷积层(CONV),“池化层?”表示没有或一层池化层(POOL).卷积层的全连接层+,其中“卷积层+”表示一层或多层卷积层(CONV),“池化层?”表示没有或一层池化层(POOL).卷积层的以极大减少训练阶段需要优化的总参数量.池化层可以非常有效地缩减矩阵的尺寸(主要用于减小矩阵的长和宽),从而减少最后全连接层中的参数,并有防止过拟合的作用。
    卷积、非线性变换(激活函数)和下采样3个阶段构成的单层卷积神经网络如下图所示.。(尹宝才,王文通,王立春.深度学习研究综述[J].北京工业大学学报,2015,41(01):48-59.)

    在这里插入图片描述

    多层卷积神经网络深度学习算法具有可移植性。(肖堃.多层卷积神经网络深度学习算法可移植性分析[J/OL].哈尔滨工程大学学报:1-6[2020-05-07 14:46].)

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    5.2卷积神经网络处理计算机视觉的原理

    在这里插入图片描述
    在这里插入图片描述
    **对一幅图像来说,像素级的特征是没有意义的复杂的图像都是由一些基本的图像构成。**浅层卷积层可以得到物体的边缘信息,深层卷积层可以得到物体更抽象更细节的信息。
    在这里插入图片描述
    在这里插入图片描述

    在这里插入图片描述

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    另外一个计算原理就是:本质上就是一个个线性方程,比如y=ax+b,进行曲线的拟合。使得交叉熵或其它损失函数指最小。
    神经元模型是从神经元上受到了启发,但是在计算机视觉图片和卷积神经网络中是受大脑皮层的启发。

    在这里插入图片描述

    致谢

    对本文中所用到的资料的作者表示最崇高的感谢!

    展开全文
  • 深度学习发展历程

    2018-11-05 09:00:02
    讲述了神经网络第一代,第二代,第三代的发展历程;及如何解决一些重要难题和未来的需要处理的问题;
  • Deep learning深度学习发展历程ppt
  • 深度学习发展历程(2012年以前)

    千次阅读 2018-10-19 12:19:22
    任何通过数据训练的学习算法的相关研究都属于机器学习,包括很多已经发展多年的技术,比如线性回归(Linear Regression)、logistic回归、K均值(K-means,基于原型的目标函数聚类方法)、决策树(Decision Trees...

    机器学习

    计算机利用已有的数据,得出了某种模型,并利用此模型预测未来的一种方法。它是人工智能领域的一个小分支,如果说AI是一个合集,那么ML就是AI的子集。任何通过数据训练的学习算法的相关研究都属于机器学习,包括很多已经发展多年的技术,比如线性回归(Linear Regression)、logistic回归、K均值(K-means,基于原型的目标函数聚类方法)、决策树(Decision Trees,运用概率分析的一种图解法)、随机森林(Random Forest,运用概率分析的一种图解法)、PCA(Principal Component Analysis,主成分分析)、SVM(Support Vector Machine,支持向量机)以及ANN(Artificial Neural Networks,人工神经网络)。而人工神经网络则是深度学习的起源。
    监督学习:回归和分类
    ○ 无监督学习:聚类
    ○ 半监督学习
    ○ 迁移学习
    ○ 增强学习

    深度学习

    是机器学习里面现在比较火的一个topic,本身是神经网络算法的衍生,在图像识别,语音识别、自然语言处理(NLP)等富媒体的分类和识别上取得了非常好的效果,成功的主要原因是大量可用的数据以及像GPU这样更强大的计算引擎的出现。下图是深度学习的一个简要发展史
    在这里插入图片描述

    第一代神经网络(1958-1969)

    1958年Rosenblatt发明的感知算法可对输入的多维数据进行二分类,且能够使用梯度下降法从训练样本中自动学习更新权值。
    1962年,该方法被证明为能够收敛,它的理论与实践效果引发了第一次神经网络的浪潮;
    1969年,美国数学家及AI先驱Minsky在著作中证明感知器本质上是一种线性模型,只能处理线性分类问题,就连最简单的XOR问题都无法正确分类。这等于直接宣判了感知器的死弄,神经网络的研究也陷入了近20年的停滞。

    第二代神经网络(1986-1998)

    1986年Hiton发明的MLP的BP算法,并采用Sigmoid进行非线性映射,有效解决了非线性公类和学习的问题。该方法引发了神经网络的第二次热潮。
    1989年,Robert Hecht-Nielsen证明了MLP的万能逼近定理,即对于任何闭区间内的一个连续函数f,都可以用含有一个隐含层的BP网络来逼近。
    1989年,LeCun发明了CNN–LeNet,并将其用于数字识别,且取得了较好的成绩,不过当时并没有引起足够的注意。
    ○ 1989年以后由于没有提出特别突出的方法,且神经网络一直缺少相应的严格数学理论支持,神经网络的热潮渐渐冷淡下去。冰点发生在1991年,BP算法被指出存在梯度消失问题,由于Sigmoid函数的饱和特性,后层梯度本来就小,误差梯度传到前层时几乎为0
    1997年,LSTM模型被发明,尽管该模型在序列建模上表现出的特性非常突出,但由于处于神经网络的下坡期,也没有引起足够的重视。

    统计学习方法的春天(1986-2006)

    1986年,决策方法被提出,很快ID3、ID4、CART等改进的决策树方法相继出现,这些方法也是符号学习方法的代表。正是由于这些方法的出现,使得统计学习开始进入人们的视野,迎来统计学习方法的春天。
    1995年,统计学家Vapnik提出线性SVM。由于它有非常完美的数学理论推导做支撑(统计学与凸优化等),并且非常符合人的直观感受(最大间隔),更重要的是它在线性分类的问题上取得了当时最好的成绩,这使得神经网络更陷入无人问津的境地。
    1997年,AdaBoost被提出,该方法是PAC理论在机器学习实践上的代表,也催生了集成学习这一类方法的诞生,在回归和分类任务上取得了非常好的效果。该方法通过一系列的弱分类器集成,达到强分类器的效果。
    2000年,Kernel SVM被提出,核化的SVM通过一种巧妙的方法将原空间线性不可分的问题,通过Kernel映射成高维空间的线性可分的问题,成功解决了非线性分类的问题,且分类效果非常好。至此也更加终结了神经网络时代。
    2001年,随机森林被提出,这是集成方法的另一个代表,该方法比AdaBoost能更好地抑制过拟合问题。
    2001年,一种新的统一框架—-图模型被提出,该方法试图统一机器 学习混的方法,如朴素贝叶斯、SVM、隐马尔可夫模型等,为各种学习方法提供一个统一的描述框架

    第三代神经网络深度学习(2006-至今)

    快速发展期(2006-2012)

    2006年,深度学习元年。Hiton提出了深层网络训练中梯度消失问题的解决方案:“无监督训练对权值进行初始化+有监督训练微调”。其主要思想是先通过自学习的方法学习到训练数据的结构,然后在该结构上进行有监督训练微调。
    2011年,ReLU激活函数被提出,有效抑制梯度消失的问题
    2011年微软首次将深度学习应用在语音识别上,取得了重大突破。

    爆发期(2012-至今)

    2012年,Hiton课题组首次参加ImageNet图像识别比赛,AlexNet夺得冠军,并碾压了第二名(SVM)的分类性能。
    ○ ….

    深度学习三巨头(闲谈)

    ○ 论资排辈:Hinton>leCun>Bengio
    ○ hinton经典工作堆成山,门下徒子徒孙遍地,lecun是hinton的postdoc,当年micheal jordan想去hinton门下读postdoc都被婉拒,而bengio又是jordan的postdoc。
    ○ 虽说lecun(LeNet5)不是cnn的发明人,但是他是第一个把bp用在cnn上并且完善cnn使得它可以在real application上work的人,也是自98年之后近20年的cnn第一推动者。

    展开全文
  • 深度学习-历史发展历程

    千次阅读 2019-08-23 10:29:43
    纵观深度学习的历史发展进程,有助于对其全方位的理解。本博客将从时间的角度,分享深度学习知识。 仔细查看现有的很多博客,发现大家都写的非常详细,所以本博客暂时决定不对外开放,仅用于笔记。 概述 总的来...
  • 机器学习和深度学习的关系 事实上,很多PGM也可从神经网络的方面来解释。尤其是VAE,它可看做二类的混合模型。 当PGM的层太多时,学习和推断都很难。因此,Deep learning往往偏向于指代Deep neural network。 从...
  • 深度学习发展历程总结

    千次阅读 2016-11-29 14:04:51
    一张图总结深度学习的前世今生 资料来源百度大脑(ID:baidubrain) 另外解释一下为什么 ImageNet(斯坦福教授李飞飞创立) 出现之前互联网上大量的开放数据不能被应用于深度学习?这也是目前深度学习面临的局限,...
  • 这个问题问的非常好,想要看看目前为什么这么多深度学习框架的出现,还真的不得不回头看看深度学习框架出现的历史趋势,然后去理解目前深度学习发展,给框架带来的要求,就会明白除了政治因素之外,新的深度学习框架...
  • 深度学习-发展历程

    千次阅读 2017-03-24 13:51:33
    ...2012年6月,《纽约时报》披露了...这个项目是由著名的斯坦福大学机器学习教授Andrew Ng和在大规模计算机系统方面的世界顶尖专家Jeff Dean共同主导,用16000个CPU Core的并行计算平台训练一种称为“深层神
  • 深度学习发展历程的一波三折

    千次阅读 2018-04-02 20:48:36
    但是,MP模型中,权重的值都是预先设置的,因此不能学习。1949年心理学家Hebb提出了Hebb学习率,认为人脑神经细胞的突触(也就是连接)上的强度上可以变化的。于是计算科学家们开始考虑用调整权值的方法来让机器学习...
  • 深度学习发展

    万次阅读 多人点赞 2018-04-02 13:41:00
    欢迎大家关注我们的网站和系列教程:http://www.tensorflownews.com/,学习更多的机器学习、...接下来我们了解一下深度学习发展历程。 1.深度学习的起源阶段 1943年,心里学家麦卡洛克和数学逻辑学家皮兹发表...
  • 计算机视觉的发展历程–诞生 1966年MIT人工只能实验室一名教授给自己的研究生布置了一个课题:想办法写一个程序,让计算机告诉我们摄像头看到了什么 这次事件标志着计算机视觉的诞生,1966年也称为计算机视觉元年。...
  • 深度学习发展历史及应用现状

    万次阅读 2017-05-22 10:52:50
    深度学习是人工神经网络的一个分支,具有深度网络结构的人工神经网络是深度学习最早的网络模型。1943年,美国数学家沃尔特·皮茨(W.Pitts)和心理学家沃伦·麦克洛克(W.McCulloch)首次提出了人工神经网络这一概念...
  • 深度学习(一)深度学习发展历史

    万次阅读 多人点赞 2016-08-19 17:19:06
    本次深度学习系列主要从以下几个方面记录,主要为CNN相关 另外最后会专留一章讲述CNN与计算机视觉中的目标检测的发展。∙\bullet发展历史 ∙\bullet基础结构 ∙\bullet损失函数 ∙\bullet优化方法 ∙\bullet...
  • 先mark,准备开始记录我的深度学习之路,通过记录文章的方式督促自己。
  • 人工智能的发展历程—-三盘棋的故事 棋类游戏自古以来都是人类智慧的象征,受众面广泛,而棋类游戏规则清晰,易分胜负,每一次人机对弈都会引起社会的极大关注,并且推动人工智能技术的快速发展。 19世纪60年代,...
  • 深度学习在图像分类中的发展

    万次阅读 2018-09-18 21:28:11
    深度学习是一门比较年轻的研究方向,从机器视觉到语音识别,以及自然语言识别等领域都有它的身影。说实话,喵哥此前只是知道有这个学科,但是并不清楚它到底是什么,怎么使用它。其实现在也是一无所知,但是我越发...
  • ;机器学习技术的两次浪潮 ;深度学习机制更接近人脑 ? DeepArchitecture in the Brain;深度学习和人类学习的共同点 ;人工智能新范式大数据+深度学习 ;Area V2;
  • 深度残差网络首先提出深层网络存在degradation的现象,受该现象的启发,提出了拟合残差网络的方法。核心思想是shortcut connection时恒为identity,根据输入x去拟合F(x)=H(x)-x,最后再把F(x)与shortcut ...
  • 深度学习计算框架发展

    千次阅读 2020-10-19 21:21:57
    前言这里主要介绍下TensorFlow的核心概念,介绍概念之前,先来介绍下深度学习计算框架的历史。Tensorflow计算框架为什么这么受欢迎?。它的核心概念就是计算图结构,我们写代码就...
  • 本篇主要为原书1.2节内容,从历史发展角度对深度学习方法进行介绍,使读者对对深度学习的特点及变迁有了整体的认识。 1 深度学习在人工智能方法中位置
  • 1、AI实现方法及发展历程 人工智能在计算机上实现时有2种不同的方式。一种是采用传统的编程技术,使系统呈现智能的效果,而不考虑所用方法是否与人或动物机体所用的方法相同。这种方法叫工程学方法(ENGINEERING ...
  • 1.1 人工智能概述 1 人工智能应用场景 2 人工智能小案例 案例一: 参考链接:https://quickdraw.withgoogle.com 案例二: 参考链接:...3 人工智能发展必备三要素: 数据 算...
  • 2016到2019的一些比较经典的模型:https://blog.csdn.net/shiyonglian/article/details/83509412 ... 下面这篇文章很好的总结了基于深度学习的图像超分辨率发展: https://blog.csdn.net/...
  • 来自https://github.com/hoya012/deep_learning_object_detection

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 14,329
精华内容 5,731
关键字:

深度学习发展历程