精华内容
下载资源
问答
  • 深度学习发展

    2018-12-11 21:39:16
    欢迎大家关注我们的网站和系列教程:http://www.tensorflownews.com/...作为机器学习最重要的一个分支,深度学习近年来发展迅猛,在国内外都引起了广泛的关注。然而深度学习的火热也不是一时兴起的,而是经历了一段...

    声明:文章转自https://blog.csdn.net/fendouaini/article/details/79788106

    欢迎大家关注我们的网站和系列教程:http://www.tensorflownews.com/,学习更多的机器学习、深度学习的知识!

    作为机器学习最重要的一个分支,深度学习近年来发展迅猛,在国内外都引起了广泛的关注。然而深度学习的火热也不是一时兴起的,而是经历了一段漫长的发展史。接下来我们了解一下深度学习的发展历程。

    1.深度学习的起源阶段

    1943年,心里学家麦卡洛克和数学逻辑学家皮兹发表论文《神经活动中内在思想的逻辑演算》,提出了MP模型。MP模型是模仿神经元的结构和工作原理,构成出的一个基于神经网络的数学模型,本质上是一种“模拟人类大脑”的神经元模型。MP模型作为人工神经网络的起源,开创了人工神经网络的新时代,也奠定了神经网络模型的基础。

    1949年,加拿大著名心理学家唐纳德·赫布在《行为的组织》中提出了一种基于无监督学习的规则——海布学习规则(Hebb Rule)。海布规则模仿人类认知世界的过程建立一种“网络模型”,该网络模型针对训练集进行大量的训练并提取训练集的统计特征,然后按照样本的相似程度进行分类,把相互之间联系密切的样本分为一类,这样就把样本分成了若干类。海布学习规则与“条件反射”机理一致,为以后的神经网络学习算法奠定了基础,具有重大的历史意义。

    20世纪50年代末,在MP模型和海布学习规则的研究基础上,美国科学家罗森布拉特发现了一种类似于人类学习过程的学习算法——感知机学习。并于1958年,正式提出了由两层神经元组成的神经网络,称之为“感知器”。感知器本质上是一种线性模型,可以对输入的训练集数据进行二分类,且能够在训练集中自动更新权值。感知器的提出吸引了大量科学家对人工神经网络研究的兴趣,对神经网络的发展具有里程碑式的意义。

    但随着研究的深入,在1969年,“AI之父”马文·明斯基和LOGO语言的创始人西蒙·派珀特共同编写了一本书籍《感知器》,在书中他们证明了单层感知器无法解决线性不可分问题(例如:异或问题)。由于这个致命的缺陷以及没有及时推广感知器到多层神经网络中,在20世纪70年代,人工神经网络进入了第一个寒冬期,人们对神经网络的研究也停滞了将近20年。

    图1 “AI之父”马文·明斯基
    2.深度学习的发展阶段

    1982年,著名物理学家约翰·霍普菲尔德发明了Hopfield神经网络。Hopfield神经网络是一种结合存储系统和二元系统的循环神经网络。Hopfield网络也可以模拟人类的记忆,根据激活函数的选取不同,有连续型和离散型两种类型,分别用于优化计算和联想记忆。但由于容易陷入局部最小值的缺陷,该算法并未在当时引起很大的轰动。

    直到1986年,深度学习之父杰弗里·辛顿提出了一种适用于多层感知器的反向传播算法——BP算法。BP算法在传统神经网络正向传播的基础上,增加了误差的反向传播过程。反向传播过程不断地调整神经元之间的权值和阈值,直到输出的误差达到减小到允许的范围之内,或达到预先设定的训练次数为止。BP算法完美的解决了非线性分类问题,让人工神经网络再次的引起了人们广泛的关注。


    图2 深度学习之父杰弗里·辛顿
    但是由于八十年代计算机的硬件水平有限,如:运算能力跟不上,这就导致当神经网络的规模增大时,再使用BP算法会出现“梯度消失”的问题。这使得BP算法的发展受到了很大的限制。再加上90年代中期,以SVM为代表的其它浅层机器学习算法被提出,并在分类、回归问题上均取得了很好的效果,其原理又明显不同于神经网络模型,所以人工神经网络的发展再次进入了瓶颈期。

    3.深度学习的爆发阶段

    2006年,杰弗里·辛顿以及他的学生鲁斯兰·萨拉赫丁诺夫正式提出了深度学习的概念。他们在世界顶级学术期刊《科学》发表的一篇文章中详细的给出了“梯度消失”问题的解决方案——通过无监督的学习方法逐层训练算法,再使用有监督的反向传播算法进行调优。该深度学习方法的提出,立即在学术圈引起了巨大的反响,以斯坦福大学、多伦多大学为代表的众多世界知名高校纷纷投入巨大的人力、财力进行深度学习领域的相关研究。而后又在迅速蔓延到工业界中。

    2012年,在著名的ImageNet图像识别大赛中,杰弗里·辛顿领导的小组采用深度学习模型AlexNet一举夺冠。AlexNet采用ReLU激活函数,从根本上解决了梯度消失问题,并采用GPU极大的提高了模型的运算速度。同年,由斯坦福大学著名的吴恩达教授和世界顶尖计算机专家Jeff Dean共同主导的深度神经网络——DNN技术在图像识别领域取得了惊人的成绩,在ImageNet评测中成功的把错误率从26%降低到了15%。深度学习算法在世界大赛的脱颖而出,也再一次吸引了学术界和工业界对于深度学习领域的关注。

    随着深度学习技术的不断进步以及数据处理能力的不断提升,2014年,Facebook基于深度学习技术的DeepFace项目,在人脸识别方面的准确率已经能达到97%以上,跟人类识别的准确率几乎没有差别。这样的结果也再一次证明了深度学习算法在图像识别方面的一骑绝尘。

    2016年,随着谷歌公司基于深度学习开发的AlphaGo以4:1的比分战胜了国际顶尖围棋高手李世石,深度学习的热度一时无两。后来,AlphaGo又接连和众多世界级围棋高手过招,均取得了完胜。这也证明了在围棋界,基于深度学习技术的机器人已经超越了人类。

    图3 AlphaGo大战李世石
    2017年,基于强化学习算法的AlphaGo升级版AlphaGo Zero横空出世。其采用“从零开始”、“无师自通”的学习模式,以100:0的比分轻而易举打败了之前的AlphaGo。除了围棋,它还精通国际象棋等其它棋类游戏,可以说是真正的棋类“天才”。此外在这一年,深度学习的相关算法在医疗、金融、艺术、无人驾驶等多个领域均取得了显著的成果。所以,也有专家把2017年看作是深度学习甚至是人工智能发展最为突飞猛进的一年。

    所以在深度学习的浪潮之下,不管是AI的相关从业者还是其他各行各业的工作者,都应该以开放、学习的心态关注深度学习、人工智能的热点动态。人工智能正在悄无声息的改变着我们的生活!

    本篇文章出自http://www.tensorflownews.com,对深度学习感兴趣,热爱Tensorflow的小伙伴,欢迎关注我们的网站!
    --------------------- 
    作者:Tensorflowai 
    来源:CSDN 
    原文:https://blog.csdn.net/fendouaini/article/details/79788106 
    版权声明:本文为博主原创文章,转载请附上博文链接!

    展开全文
  • 深度学习发展

    千次阅读 2018-10-29 11:48:53
    深度学习发展史   http://blog.itpub.net/29829936/viewspace-2217861/   作为机器学习最重要的一个分支,深度学习近年来发展迅猛,在国内外都引起了广泛的关注。然而深度学习的火热也不是一时兴起的,而是...

    深度学习发展史

     

    http://blog.itpub.net/29829936/viewspace-2217861/

     

    作为机器学习最重要的一个分支,深度学习近年来发展迅猛,在国内外都引起了广泛的关注。然而深度学习的火热也不是一时兴起的,而是经历了一段漫长的发展史。接下来我们了解一下深度学习的发展历程。

     

    1. 深度学习的起源阶段
    1943年,心里学家麦卡洛克和数学逻辑学家皮兹发表论文《神经活动中内在思想的逻辑演算》,提出了MP模型。MP模型是模仿神经元的结构和工作原理,构成出的一个基于神经网络的数学模型,本质上是一种“模拟人类大脑”的神经元模型。MP模型作为人工神经网络的起源,开创了人工神经网络的新时代,也奠定了神经网络模型的基础。

    1949年,加拿大著名心理学家唐纳德·赫布在《行为的组织》中提出了一种基于无监督学习的规则——海布学习规则(Hebb Rule)。海布规则模仿人类认知世界的过程建立一种“网络模型”,该网络模型针对训练集进行大量的训练并提取训练集的统计特征,然后按照样本的相似程度进行分类,把相互之间联系密切的样本分为一类,这样就把样本分成了若干类。海布学习规则与“条件反射”机理一致,为以后的神经网络学习算法奠定了基础,具有重大的历史意义。

    20世纪50年代末,在MP模型和海布学习规则的研究基础上,美国科学家罗森布拉特发现了一种类似于人类学习过程的学习算法——感知机学习。并于1958年,正式提出了由两层神经元组成的神经网络,称之为“感知器”。感知器本质上是一种线性模型,可以对输入的训练集数据进行二分类,且能够在训练集中自动更新权值。感知器的提出吸引了大量科学家对人工神经网络研究的兴趣,对神经网络的发展具有里程碑式的意义。

    但随着研究的深入,在1969年,“AI之父”马文·明斯基和LOGO语言的创始人西蒙·派珀特共同编写了一本书籍《感知器》,在书中他们证明了单层感知器无法解决线性不可分问题(例如:异或问题)。由于这个致命的缺陷以及没有及时推广感知器到多层神经网络中,在20世纪70年代,人工神经网络进入了第一个寒冬期,人们对神经网络的研究也停滞了将近20年。

     
    图1 “AI之父”马文·明斯基

     

     

    2. 深度学习的发展阶段
    1982年,著名物理学家约翰·霍普菲尔德发明了Hopfield神经网络。Hopfield神经网络是一种结合存储系统和二元系统的循环神经网络。Hopfield网络也可以模拟人类的记忆,根据激活函数的选取不同,有连续型和离散型两种类型,分别用于优化计算和联想记忆。但由于容易陷入局部最小值的缺陷,该算法并未在当时引起很大的轰动。

    直到1986年,深度学习之父杰弗里·辛顿提出了一种适用于多层感知器的反向传播算法——BP算法。BP算法在传统神经网络正向传播的基础上,增加了误差的反向传播过程。反向传播过程不断地调整神经元之间的权值和阈值,直到输出的误差达到减小到允许的范围之内,或达到预先设定的训练次数为止。BP算法完美的解决了非线性分类问题,让人工神经网络再次的引起了人们广泛的关注。

     
    图2 深度学习之父杰弗里·辛顿

    但是由于八十年代计算机的硬件水平有限,如:运算能力跟不上,这就导致当神经网络的规模增大时,再使用BP算法会出现“梯度消失”的问题。这使得BP算法的发展受到了很大的限制。再加上90年代中期,以SVM为代表的其它浅层机器学习算法被提出,并在分类、回归问题上均取得了很好的效果,其原理又明显不同于神经网络模型,所以人工神经网络的发展再次进入了瓶颈期。

     

     

    3. 深度学习的爆发阶段
    2006年,杰弗里·辛顿以及他的学生鲁斯兰·萨拉赫丁诺夫正式提出了深度学习的概念。他们在世界顶级学术期刊《科学》发表的一篇文章中详细的给出了“梯度消失”问题的解决方案——通过无监督的学习方法逐层训练算法,再使用有监督的反向传播算法进行调优。该深度学习方法的提出,立即在学术圈引起了巨大的反响,以斯坦福大学、多伦多大学为代表的众多世界知名高校纷纷投入巨大的人力、财力进行深度学习领域的相关研究。而后又在迅速蔓延到工业界中。

    2012年,在著名的ImageNet图像识别大赛中,杰弗里·辛顿领导的小组采用深度学习模型AlexNet一举夺冠。AlexNet采用ReLU激活函数,从根本上解决了梯度消失问题,并采用GPU极大的提高了模型的运算速度。同年,由斯坦福大学著名的吴恩达教授和世界顶尖计算机专家Jeff Dean共同主导的深度神经网络——DNN技术在图像识别领域取得了惊人的成绩,在ImageNet评测中成功的把错误率从26%降低到了15%。深度学习算法在世界大赛的脱颖而出,也再一次吸引了学术界和工业界对于深度学习领域的关注。

    随着深度学习技术的不断进步以及数据处理能力的不断提升,2014年,Facebook基于深度学习技术的DeepFace项目,在人脸识别方面的准确率已经能达到97%以上,跟人类识别的准确率几乎没有差别。这样的结果也再一次证明了深度学习算法在图像识别方面的一骑绝尘。

    2016年,随着谷歌公司基于深度学习开发的AlphaGo以4:1的比分战胜了国际顶尖围棋高手李世石,深度学习的热度一时无两。后来,AlphaGo又接连和众多世界级围棋高手过招,均取得了完胜。这也证明了在围棋界,基于深度学习技术的机器人已经超越了人类。

     
    图3 AlphaGo大战李世石

    2017年,基于强化学习算法的AlphaGo升级版AlphaGo Zero横空出世。其采用“从零开始”、“无师自通”的学习模式,以100:0的比分轻而易举打败了之前的AlphaGo。除了围棋,它还精通国际象棋等其它棋类游戏,可以说是真正的棋类“天才”。此外在这一年,深度学习的相关算法在医疗、金融、艺术、无人驾驶等多个领域均取得了显著的成果。所以,也有专家把2017年看作是深度学习甚至是人工智能发展最为突飞猛进的一年。

    所以在深度学习的浪潮之下,我认为不管是AI的相关从业者还是其他各行各业的工作者,都应该以开放、学习的心态关注深度学习、人工智能的热点动态。人工智能正在悄无声息的改变着我们的生活!


    来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/29829936/viewspace-2217861/,如需转载,请注明出处,否则将追究法律责任。

     

     

    展开全文
  • 深度学习发展概述

    2020-05-04 23:39:10
    深度学习发展历史 什么是深度学习 深度学习是机器学习(ML)和人工智能(AI)的一种,它模仿人类获得某些类型的知识的方式。深度学习是数据科学的重要元素,其中包括统计和预测模型。对于负责收集,分析和解释大量...

    目录

    什么是深度学习

    深度学习如何工作

    什么是深度学习神经网络?

    深度学习方法 

    深度学习应用示例

    深度学习有什么用?

    局限与挑战

    深度学习与机器学习

    深度学习发展历史

    什么是深度学习

    深度学习是机器学习(ML)和人工智能(AI)的一种,它模仿人类获得某些类型的知识的方式。深度学习是数据科学的重要元素,其中包括统计和预测模型。对于负责收集,分析和解释大量数据的数据科学家而言,这是极为有益的。深度学习使此过程变得更快,更容易。
    最简单的说,深度学习可以被视为自动化预测分析的一种方式。尽管传统的机器学习算法是线性的,但深度学习算法却以越来越复杂和抽象的层次结构堆叠在一起。

    要了解深度学习,请想象一个第一个单词是dog的小孩。幼儿通过指向物体并说出“ 狗 ”一词来了解狗是什么—不是狗。父母说:“是,那是狗”,或者:“否,那不是狗”。随着幼儿继续指向物体,他逐渐意识到所有狗所具有的特征。幼儿在不知情的情况下通过建立一个层次结构来阐明复杂的抽象概念(狗的概念),在该层次结构中,每个抽象层次都是使用从层次结构的上一层获得的知识来创建的。

    深度学习如何工作


    使用深度学习的计算机程序所经历的过程与蹒跚学步的学习来识别狗的过程几乎相同。层次结构中的每个算法都对其输入应用非线性变换,并使用其学习的知识来创建统计模型作为输出。迭代一直持续到输出达到可接受的精度水平为止。数据必须经过的处理层数才是促使标签产生深刻影响的原因。

    在传统的机器学习中,学习过程是受监督的,并且程序员在告诉计算机应确定什么样的事物以决定图像包含一只狗还是不包含一只狗时必须非常具体。这是一个费力的过程,称为特征提取,计算机的成功率完全取决于程序员为“狗”准确定义特征集的能力。深度学习的优势是程序无需监督即可自行构建功能集。无监督学习不仅更快,而且通常更准确。

    最初,可能会向计算机程序提供训练数据-一组图像,人类已经使用meta标签将图像标记为“狗”或“非狗”。该程序使用从训练数据中接收到的信息来创建“狗”的功能集并建立预测模型。在这种情况下,计算机首先创建的模型可能会预测图像中具有四只腿和一条尾巴的任何物体都应标记为“狗”。当然,该程序不知道标签“四腿”或“尾巴”。它将仅查找数字数据中的像素模式。每次迭代,预测模型都会变得更加复杂和准确。

    与需要花费数周甚至数月才能了解“狗”概念的幼儿不同,可以向使用深度学习算法几分钟让计算机程序学习一个训练集,并对数百万张图像进行分类,以准确识别其中包含狗的图像。

    为了达到可接受的精度水平,深度学习程序需要访问大量的培训数据和处理能力,在大数据和云计算时代之前,程序员都无法轻松获得这两种数据。因为深度学习编程可以直接从其自己的迭代输出中创建复杂的统计模型,所以它能够从大量未标记,未结构化的数据中创建准确的预测模型。这一点很重要,因为物联网(IoT)继续变得越来越普及,因为人类和机器创建的大多数数据都是非结构化的,并且没有标签。

    什么是深度学习神经网络?


    一种先进的机器学习算法,称为人工神经网络,是大多数深度学习模型的基础。结果,深度学习有时可能被称为深度神经学习或深度神经网络。

    神经网络有几种不同的形式,包括递归神经网络,卷积神经网络,人工神经网络和前馈神经网络-每种对特定用例都有好处。但是,它们都以某种相似的方式起作用,通过输入数据并让模型自己确定模型是否对给定的数据元素做出了正确的解释或决策。

    神经网络涉及反复试验的过程,因此它们需要大量的数据进行训练。仅在大多数企业接受大数据分析并积累大量数据存储之后,神经网络才流行起来,这并不是巧合。由于模型的前几次迭代涉及对图像或语音部分内容的某种程度的猜测,因此必须标记训练阶段使用的数据,以便模型可以查看其猜测是否准确。这意味着,尽管许多使用大数据的企业拥有大量数据,但非结构化数据的帮助较小。非结构化数据只有经过训练并达到可接受的准确性水平,才能通过深度学习模型进行分析,但是深度学习模型无法对非结构化数据进行训练。

    深度学习方法 

    可以使用各种不同的方法来创建强大的深度学习模型。这些技术包括学习率,迁移学习,从头开始和dropout训练。

    学习率。学习速率是一个超参数-一个在学习过程之前定义系统或为其操作设置条件的因素-每次更改模型权重时,响应于估计的误差,它控制模型经历多少变化。太高的学习率可能会导致不稳定的训练过程或学习不太理想的权重。学习率太低可能会导致冗长的培训过程,从而有可能被卡住。

    学习速率衰减方法-也称为学习速率退火或自适应学习速率-是调整学习速率以提高性能并减少训练时间的过程。训练期间最简单,最常见的学习率调整包括随着时间的推移降低学习率的技术。

    转移学习。这个过程涉及完善先前训练过的模型;它需要一个到现有网络内部接口。首先,用户向现有网络提供包含以前未知分类的新数据。一旦对网络进行了调整,就可以使用更具体的分类功能执行新任务。这种方法的优点是比其他方法需要更少的数据,从而将计算时间减少到数分钟或数小时。

    从头开始培训。此方法要求开发人员收集大标签的数据集并配置可以学习功能和模型的网络体系结构。此技术对于新应用程序以及具有大量输出类别的应用程序特别有用。但是,总的来说,这是一种不太常用的方法,因为它需要大量的数据,导致培训需要几天或几周的时间。

    dropout。该方法试图通过在训练过程中从神经网络中随机删除单元及其连接,来解决具有大量参数的网络过拟合的问题。已经证明,dropout方法可以改善神经网络在语音识别,文档分类和计算生物学等领域的监督学习任务中的性能。

    深度学习应用示例

    由于深度学习模型以类似于人脑的方式处理信息,因此它们可以应用于人们执行的许多任务。目前,深度学习已用于大多数常见的图像识别工具,自然语言处理和语音识别软件中。这些工具开始在自动驾驶汽车和语言翻译服务等各种应用程序中出现。

    深度学习有什么用?

    如今,深度学习的用例包括所有类型的大数据分析应用程序,尤其是那些侧重于自然语言处理,语言翻译,医学诊断,股市交易信号,网络安全和图像识别的应用程序。

    当前正在使用深度学习的特定领域包括:

    客户体验。深度学习模型已经用于聊天机器人。并且,随着其不断成熟,有望在各种企业中实施深度学习,以改善客户体验并提高客户满意度。
    文字生成。正在教机器文本的语法和样式,然后使用该模型自动创建与原始文本的正确拼写,语法和样式匹配的全新文本。
    航空航天和军事。深度学习被用于从卫星中检测物体,以识别感兴趣的区域以及部队的安全区域或不安全区域。
    工业自动化。深度学习通过提供自动检测工人或物体何时离机器太近的服务,正在改善工厂和仓库等环境中的工人安全。
    添加颜色。可以使用深度学习模型将颜色添加到黑白照片和视频中。过去,这是一个非常耗时的手动过程。
    医学研究。癌症研究人员已开始在其实践中实施深度学习,以自动检测癌细胞。
    计算机视觉。深度学习极大地增强了计算机视觉,为计算机提供了极高的精度,可进行对象检测以及图像分类,恢复和分割。

    局限与挑战

    深度学习模型的最大局限性在于它们通过观察来学习。这意味着他们只知道他们所训练的数据中包含的内容。如果用户的数据量很少或来自某个特定来源(不一定代表更广泛的功能区域),则模型将无法以可推广的方式学习。

    偏差问题也是深度学习模型的主要问题。如果模型训练包含偏差的数据,则该模型将在其预测中重现这些偏差。对于深度学习程序员而言,这是一个令人头疼的问题,因为模型会根据数据元素的细微变化来学习区分。通常,程序员无法明确确定其确定的重要因素。这意味着,例如,面部识别模型可能在不了解程序员的情况下,根据种族或性别等因素来确定人的性格。

    学习率也可能成为深度学习模型的主要挑战。如果速率太高,则模型将收敛太快,从而产生次优解。如果速率太低,则该过程可能会卡住,甚至很难找到解决方案。

    深度学习模型的硬件要求也会造成限制。需要多核高性能图形处理单元(GPU)和其他类似的处理单元,以确保提高效率和减少时间消耗。然而,这些单元很昂贵并且消耗大量能量。其他硬件要求包括随机存取存储器(RAM)和硬盘驱动器或基于RAM的固态驱动器(SSD)。

    其他限制和挑战包括:

    深度学习需要大量数据。此外,功能更强大,更准确的模型将需要更多参数,从而需要更多数据。
    训练后,深度学习模型将变得僵化,无法处理多任务。他们可以提供有效而准确的解决方案,但只能解决一个特定问题。即使解决类似的问题,也需要重新培训系统。
    任何需要推理的应用程序-例如编程或应用科学方法-长期计划和类似算法的数据操作都完全超出了当前的深度学习技术所能实现的范围,即使是使用大数据也是如此。

    深度学习与机器学习

    深度学习是机器学习的一个子集,它通过解决问题的方式与众不同。机器学习需要领域专家来识别大多数应用功能。另一方面,深度学习会逐步学习特征,从而消除了对领域专业知识的需求。这使得深度学习算法的训练时间比机器学习算法要长得多,机器学习算法只需要几秒钟到几小时。但是,在测试期间反之亦然。深度学习算法运行测试所需的时间比机器学习算法要少得多,后者的测试时间随数据量的增加而增加。

    此外,机器学习不需要像深度学习那样昂贵的高端机器和高性能GPU。

    最后,由于其卓越的可解释性或理解解决方案的能力,许多数据科学家选择传统的机器学习而非深度学习。当数据较小时,机器学习算法也是首选。

    深度学习变得可取的情况包括大量数据,缺乏对特征自省的领域理解或复杂问题(例如语音识别和自然语言处理)的情况。

    深度学习发展历史

    深度学习的历史可以追溯到1943年,当时Warren McCulloch和Walter Pitts使用数学和算法为神经网络创建了一个计算模型。但是,直到2000年代中期才出现“深度学习”一词。在Geoffrey Hinton和Ruslan Salakhutdinov发表论文之后,它得到了普及,该论文显示了如何一次训练多层神经网络。

    2012年,Google的算法显示了识别猫的能力,从而在深度学习方面给人留下了深刻的印象。两年后,2014年,谷歌从英国收购了人工智能初创公司DeepMind。两年后,2016年,谷歌DeepMind的算法AlphaGo掌握了复杂的棋盘游戏Go,在汉城的一场比赛中击败了职业玩家Lee Sedol。

    最近,深度学习模型已在人工智能领域取得了大多数进步。深度强化学习已经成为一种将AI与复杂的应用程序集成的方式,例如机器人技术,视频游戏和自动驾驶汽车。深度学习与强化学习之间的主要区别在于,深度学习是从训练集中学习,然后将学到的知识应用于新的数据集,而深度强化学习则通过使用连续反馈调整动作来动态学习,以优化奖励。

    增强型学习代理具有对生成的对抗网络(GAN)进行快速而强大的控制的能力。对抗阈值神经计算机(ATNC)将深度强化学习与GAN结合在一起,以设计具有特定的所需药理学性质的有机小分子。

    GAN还被用于生成用于机器学习任务的人工训练数据,可用于数据集不平衡的情况或数据包含敏感信息的情况。

    这是深度学习程序如何工作的非常简单的说明。LuLu Art Group的这段视频显示了在使用原始运动捕捉数据进行初始训练后的深度学习程序的输出。该程序可以预测“舞蹈”的抽象概念。

    视频链接:https://www.youtube.com/watch?time_continue=12&v=QnaKyc1Mpmo&feature=emb_logo

    展开全文
  • Deep learning深度学习发展历程ppt
  • 深度学习发展简史

    千次阅读 2017-02-11 11:28:43
    深度学习发展简史
     编者按:本文作者王川,投资人,中科大少年班校友,现居加州硅谷,个人微信号9935070,36 氪经授权转载自其个人微信公众号 investguru。
    

      一

      2016 年一月底,人工智能的研究领域,发生了两件大事。

      先是一月二十四号,MIT 的教授,人工智能研究的先驱者,Marvin Minsky 去世,享年89 岁。

      三天之后,谷歌在自然杂志上正式公开发表论文,宣布其以深度学习技术为基础的电脑程序 AlphaGo, 在 2015年 十月,连续五局击败欧洲冠军、职业二段樊辉。

      这是第一次机器击败职业围棋选手。距离 97年IBM 电脑击败国际象棋世界冠军,一晃近二十年了。

      极具讽刺意义的是,Minsky 教授,一直不看好深度学习的概念。他曾在 1969年 出版了 Perceptron (感知器) 一书,指出了神经网络技术 (就是深度学习的前身) 的局限性。这本书直接导致了神经网络研究的将近二十年的长期低潮。

      神经网络研究的历史,是怎样的?

      深度学习有多深?学了究竟有几分?

      二

      人工智能研究的方向之一,是以所谓 “专家系统” 为代表的,用大量 “如果-就” (If - Then) 规则定义的,自上而下的思路。

      人工神经网络 ( Artifical Neural Network),标志着另外一种自下而上的思路。

      神经网络没有一个严格的正式定义。它的基本特点,是试图模仿大脑的神经元之间传递,处理信息的模式。

      

      一个计算模型,要划分为神经网络,通常需要大量彼此连接的节点 (也称 ‘神经元’),并且具备两个特性:

      每个神经元,通过某种特定的输出函数 (也叫激励函数 activation function),计算处理来自其它相邻神经元的加权输入值

      神经元之间的信息传递的强度,用所谓加权值来定义,算法会不断自我学习,调整这个加权值

      在此基础上,神经网络的计算模型,依靠大量的数据来训练,还需要:

      成本函数 (cost function):用来定量评估根据特定输入值, 计算出来的输出结果,离正确值有多远,结果有多靠谱

      学习的算法 ( learning algorithm ):这是根据成本函数的结果, 自学, 纠错, 最快地找到神经元之间最优化的加权值

      用小明、小红和隔壁老王们都可以听懂的语言来解释,神经网络算法的核心就是:计算、连接、评估、纠错、疯狂培训。

      随着神经网络研究的不断变迁,其计算特点和传统的生物神经元的连接模型渐渐脱钩。

      但是它保留的精髓是:非线性、分布式、并行计算、自适应、自组织。

      三

      神经网络作为一个计算模型的理论,1943年 最初由科学家 Warren McCulloch 和 Walter Pitts 提出。

      康内尔大学教授 Frank Rosenblatt 1957年 提出的“感知器” (Perceptron),是第一个用算法来精确定义神经网络,第一个具有自组织自学习能力的数学模型,是日后许多新的神经网络模型的始祖。

      

      Rosenblatt 乐观地预测,感知器最终可以 “学习、做决定、翻译语言”。感知器的技术,六十年代一度走红,美国海军曾出资支持这个技术的研究,期望它 “以后可以自己走、说话、看、读、自我复制、甚至拥有自我意识”。

      Rosenblatt 和 Minsky 实际上是间隔一级的高中校友。但是六十年代,两个人在感知器的问题上展开了长时间的激辩。Rosenblatt 认为感应器将无所不能,Minsky 则认为它应用有限。

      1969 年,Marvin Minsky 和 Seymour Papert 出版了新书:“感知器:计算几何简介”。书中论证了感知器模型的两个关键问题:

      第一,单层的神经网络无法解决不可线性分割的问题,典型例子如异或门,XOR Circuit ( 通俗地说,异或门就是:两个输入如果是异性恋,输出为一。两个输入如果是同性恋,输出为零 )

      第二,更致命的问题是,当时的电脑完全没有能力完成神经网络模型所需要的超大的计算量。

      此后的十几年,以神经网络为基础的人工智能研究进入低潮,相关项目长期无法得到政府经费支持,这段时间被称为业界的核冬天。

      Rosenblatt 自己则没有见证日后神经网络研究的复兴。1971年 他 43 岁生日时,不幸在海上开船时因为事故而丧生。

      1970年,当神经网络研究的第一个寒冬降临时。在英国的爱丁堡大学,一位二十三岁的年轻人,Geoffrey Hinton,刚刚获得心理学的学士学位。

      Hinton 六十年代还是中学生时,就对脑科学着迷。当时一个同学给他介绍关于大脑记忆的理论是:

      大脑对于事物和概念的记忆,不是存储在某个单一的地点,而是像全息照片一样,分布式地,存在于一个巨大的神经元的网络里。

      分布式表征 (Distributed Representation),是神经网络研究的一个核心思想。

      它的意思是,当你表达一个概念的时候,不是用单个神经元一对一地存储定义;概念和神经元是多对多的关系:一个概念可以用多个神经元共同定义表达,同时一个神经元也可以参与多个不同概念的表达。

      举个最简单的例子。一辆 “大白卡车”,如果分布式地表达,一个神经元代表大小,一个神经元代表颜色,第三个神经元代表车的类别。三个神经元同时激活时,就可以准确描述我们要表达的物体。

      分布式表征和传统的局部表征 (localized representation) 相比,存储效率高很多。线性增加的神经元数目,可以表达指数级增加的大量不同概念。

      分布式表征的另一个优点是,即使局部出现硬件故障,信息的表达不会受到根本性的破坏。

      这个理念让 Hinton 顿悟,使他四十多年来,一直在神经网络研究的领域里坚持下来没有退缩。

      本科毕业后,Hinton 选择继续在爱丁堡大学读研,把人工智能作为自己的博士研究方向。

      周围的一些朋友对此颇为不解。“你疯了吗? 为什么浪费时间在这些东西上? 这 (神经网络) 早就被证明是扯淡的东西了。”

      Hinton 1978 年在爱丁堡获得博士学位后,来到美国继续他的研究工作。

      二

      神经网络当年被 Minsky 诟病的问题之一是巨大的计算量。

      简单说,传统的感知器用所谓 “梯度下降”的算法纠错时,耗费的计算量和神经元数目的平方成正比。当神经元数目增多,庞大的计算量是当时的硬件无法胜任的。

      1986年 七月,Hinton 和 David Rumelhart 合作在自然杂志上发表论文, “Learning Representations by Back-propagating errors”,第一次系统简洁地阐述反向传播算法在神经网络模型上的应用。

      反向传播算法,把纠错的运算量下降到只和神经元数目本身成正比。

      反向传播算法,通过在神经网络里增加一个所谓隐层 (hidden layer),同时也解决了感知器无法解决异或门 (XOR gate) 的难题。

      使用了反向传播算法的神经网络,在做诸如形状识别之类的简单工作时,效率比感知器大大提高。

      八十年代末计算机的运行速度,也比二十年前高了几个数量级。

      神经网络的研究开始复苏。

      三

      Yann Lecun (我给他取个中文名叫 “严乐春”吧) 1960年 出生于巴黎。1987年 在法国获得博士学位后,他曾追随 Hinton 教授到多伦多大学做了一年博士后的工作,随后搬到新泽西州的贝尔实验室继续研究工作。

      在贝尔实验室,严乐春 1989年 发表了论文, “反向传播算法在手写邮政编码上的应用”。他用美国邮政系统提供的近万个手写数字的样本来培训神经网络系统,培训好的系统在独立的测试样本中, 错误率只有 5%。

      严乐春进一步运用一种叫做“卷积神经网络” (Convoluted Neural Networks) 的技术,开发出商业软件用于读取银行支票上的手写数字,,这个支票识别系统在九十年代末占据了美国接近 20%的市场。

      此时就在贝尔实验室,严乐春临近办公室的一个同事的工作,又把神经网络的研究带入第二个寒冬。

      四

      Vladmir Vapnik,1936年 出生于前苏联,90年 移民到美国,在贝尔实验室做研究。

      早在 1963年,Vapnik 就提出了 支持向量机 (Support Vector Machine) 的算法。支持向量机,是一种精巧的分类算法。

      除了基本的线性分类外,在数据样本线性不可分的时候,SVM 使用所谓 “核机制” (kernel trick) 的非线性映射算法,将线性不可分的样本转化到高维特征空间 (high-dimensional feature space),使其线性可分。

      SVM,作为一种分类算法,九十年代初开始,在图像和语音识别上找到了广泛的用途。

      在贝尔实验室的走廊上,严乐春和 Vapnik 常常就 (深度) 神经网络和 SVM 两种技术的优缺点,展开热烈的讨论。

      Vapnik 的观点是:SVM,非常精巧地在 “容量调节” (Capacity Control) 上 选择一个合适的平衡点,而这是神经网络不擅长的。

      什么是 “容量调节”? 举个简单的例子:如果算法容量太大,就像一个记忆力极为精准的植物学家,当她看到一颗新的树的时候,由于这棵树的叶子和她以前看到的树的叶子数目不一样,所以她判断这不是树;如果算法容量太小,就像一个懒惰的植物学家,只要看到绿色的东西都把它叫做树。

      严乐春的观点是:用有限的计算能力,解决高度复杂的问题,比“容量调节”更重要。支持向量机,虽然算法精巧,但本质就是一个双层神经网络系统。它的最大的局限性,在于其“核机制”的选择。当图像识别技术需要忽略一些噪音信号时,卷积神经网络的技术,计算效率就比 SVM 高的多。

      在手写邮政编码的识别问题上,SVM 的技术不断进步,1998年 就把错误率降到低于 0.8%,2002年 最低达到了 0.56%,这远远超越同期传统神经网络算法的表现。

      神经网络的计算,在实践中还有另外两个主要问题:

      第一,算法经常停止于局部最优解,而不是全球最优解。这好比“只见树木,不见森林”。

      第二,算法的培训,时间过长时,会出现过度拟合 (overfit),把噪音当做有效信号。

    原文:http://tech.sina.com.cn/i/2016-02-23/doc-ifxprucu3124795.shtml

    展开全文
  • 深度学习发展历程 的 地方 发
  • 深度学习发展历史

    千次阅读 2017-03-05 19:58:23
    但其实,从2006年Hinton在Science上的论文算起,深度学习发展至今才不到十年。下面来一张图片吧: 深度学习重量级人物  在这短短几年时间里,深度学习颠覆了语音识别、图像分类、文本理解等...
  • 资源为本人使用Visio绘制的【深度学习发展的时间轴】。支持修改!详情可见https://blog.csdn.net/weixin_41171061/article/details/106039242
  • 促使深度学习发展的挑战促使深度学习发展的挑战1、维数灾难2、局部不变性和平滑正则化3、流形学习 促使深度学习发展的挑战 深度学习的产生是为了解决传统机器学习算法无法处理的复杂AI任务,所以促使深度学习发展的...
  • ;机器学习技术的两次浪潮 ;深度学习机制更接近人脑 ? DeepArchitecture in the Brain;深度学习和人类学习的共同点 ;人工智能新范式大数据+深度学习 ;Area V2;
  • 本篇主要为原书1.2节内容,从历史发展角度对深度学习方法进行介绍,使读者对对深度学习的特点及变迁有了整体的认识。 1 深度学习在人工智能方法中位置
  • 深度学习发展趋势和百度PaddlePaddle现场课程ppt
  • 1 深度学习介绍 我们一提到人工智能就会想到机器人,其实机器人只是人工智能的容器,没有这个容器也是可以的,可以将人工智能分为三个方面 1.1 人工智能 1)弱人工智能 比如战胜全世界的Al-phaGo,它只会下象棋,但是...
  • 作为机器学习最重要的一个分支,深度学习近年来发展迅猛,在国内外都引起了广泛的关注。然而深度学习的火热也不是一时兴起的,而是经历了一段漫长的发展史。接下来我们了解一下深度学习发展历程。 1. 深度学习...
  • 简单的单层神经网络不能解决异或问题————Back Propagation算法,BP算法————卷积神经网络用于自然图形中物体识别————千层机器学习模型相继被提出,支撑向量机(SVM),Boosting,最大熵权法(LR,Logistic...
  • 2018年深度学习发展速度被严重高估   https://mp.weixin.qq.com/s/JaqEbgcJA0VCyL6Zt_xUgg     策划编辑 | Debra 作者 | Carlos E. Perez 译者 | Sambodhi 编辑 | Natalie   导读: 离 2019 年还...
  • 深度学习发展简要笔记

    热门讨论 2017-12-17 00:00:00
    来源:非正式组织概要:在Yann LeCun、Yoshua Bengio和...一、前言深度学习发展大致分为这么几个学期:萌芽期:从BP算法的发明(1970s-1980s)到2006年期间。迅速发展期:从2006年栈式自编码器+BP微调提出之后。爆
  • 深度学习发展历程

    千次阅读 2017-10-16 15:41:16
    MCP人工神经元模型参考链接 ...第一次将MCP用于机器学习(分类)的当属1958年Rosenblatt发明的感知器(perceptron)算法。该算法使用MCP模型对输入的多维数据进行二分类,且能够使用梯度下降法从训练样本中自
  • 作为机器学习最重要的一个分支,深度学习近年来发展迅猛,在国内外都引起了广泛的关注。然而深度学习的火热也不是一时兴起的,而是经历了一段漫长的发展史。接下来我们了解一下深度学习发展历程。 1. 深度学习的...
  • 深度学习 发展 优缺点

    千次阅读 2018-07-26 22:46:11
    神经网络的发展经历了3次大的转折。由于早期的计算资源的限制,以及数据量不足,导致前2个时期提出的神经网络,大多规模很小,而且在一定程度上还不如传统的统计机器学习方法,而且神经网络的结构相对简单,因此并...
  • 深度学习 发展 优缺点 面试

    千次阅读 2017-05-06 11:34:36
    去参加腾讯笔试,问道对深度学习的理解时,用了半个小时写下了这写答案,分析了深度学习的起源,发展,以及优缺点,为什么会有些有问题的存在,有些地方还不完善,还需要补充。 神经网络在发展过程中,经历了3次...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 9,965
精华内容 3,986
关键字:

深度学习发展