深度学习网络的局限性

2017-04-06 08:22:34 u014696921 阅读数 5580
  • 深度学习历史与介绍

    了解深度学习的历史和发展; 了解感知器及其优化方法和局限性; 了解深度学习的特点; 了解神经网络

    2697人学习 CSDN就业班
    免费试看

深度学习较其他机器学习方法在各类任务中都表现优异,各个机构或院校也花了巨大的精力和时间投入到深度学习,并取得了令人惊叹的成就。但深度学习近来也暴露出其内在缺陷,很多学界领军人物都在积极探讨解决办法和替代方案。因此本文力图阐述深度学习的局限性,引发更多对深度学习的思考。


人工智能已经达到了炒作的顶峰。新闻报告称有的公司已经使用 IBM Watson 取代了工人、算法在诊断上击败了职业医生。每天都会有新的人工智能创业公司出现,宣称能使用机器学习取代你的私人和商业难题。


榨汁机、Wi-Fi 路由器这样普通的物品也忽然宣称是「由人工智能驱动」。智能的站立式桌子不仅能记住你调节的高度,也能为你点餐。


许多有关人工智能的喧哗都由那些从未训练过神经网络的记者,创业公司或者从未真正解决过商业难题却想要被高价聘请的编程人才所发出的。所以,有关人工智能的能力与限制,难免有如此多的误解。


深度学习无疑使人兴奋


神经网络创造于上世纪 60 年代,但近年来大数据和计算能力的增加使得它们在实际上变得有用。于是,一种名为「深度学习」的新的学科出现,它能使用复杂的神经网络架构以前所未有的准确率建模数据中的模式。


结果无疑使人惊讶。计算机如今能比人类更好地识别图像和视频中的物体以及将语音转录为文本。谷歌就用神经网络取代了谷歌翻译的架构,如今机器翻译的水平已经很接近人类了。


深度学习在实际应用中也令人兴奋。计算机能够比 USDA 更好的预测农作物产量,比医师更准确的诊断癌症。DARPA 的主任 John Launchbury 曾这样描述人工智能的三个浪潮:


  1. 像 IBM 的深蓝或 Watson 这样的人工编码知识或专家系统;

  2. 统计学习,包括机器学习与深度学习;

  3. 环境自适应,涉及到使用稀疏数据为真实的世界现象构建可靠的、可解释的模型,就像人类一样。


作为目前人工智能浪潮的第二波,深度学习算法因为 Launchbury 所说的「流形假设(manifold hypothesis)」(见下图)而更加有效。简单解释,它指代不同类型的高维自然数据如何聚成一块,并在低维可视化中有不同的形状。



通过数学运算并分割数据块,深度神经网络能区分不同的数据类型。虽然神经网络能够取得精妙的分类与预测能力,它们基本上还是 Launchbury 所说的「spreadsheets on steroids」。



深度学习也有深度难题


在最近的 AI By The Bay 大会上,Francois Chollet 强调深度学习是比以前的统计学和机器学习方法更为强大的模式识别方法。「人工智能如今最重要的问题是抽象和推理,」Google 的人工智能研究员 Chollet 解释到,他是著名的深层学习库 Keras 的构建者。他说:「目前的监督感知和强化学习算法需要大量的数据,在长远规划中是很难实现的,这些算法只能做简单的模式识别。」


相比之下,人类「从很少的案例中学习,可以进行长远规划,他们能够形成一种情境的抽象模型,并 [操纵] 这些模型实现极致的泛化。


即使是简单的人类行为,也很难教授给深度学习算法。例如我们需要学习在路上避免被汽车撞上,如果使用监督学习,那就需要巨量的汽车情境数据集,且明确标注了动作(如「停止」或「移动」),然后你需要训练一个神经网络来学习映射不同的情况和对应的行动。


如果采用强化学习,那你需要给算法一个目标,让它独立地确定理想的行动。为学习到在不同情况下躲避汽车,计算机可能需要先被撞上千次。Chollet 警告说:「仅仅通过扩大今天的深度学习技术,我们无法实现通用智能。


躲避汽车,人类只需要告知一次就行。我们具有从简单少量的例子中概括出事物的能力,并且能够想象(即模拟)操作的后果。我们不需要失去生命或肢体,就能很快学会避免被车撞上。


虽然神经网络在大样本量上达到统计学上令人惊讶成果,但它们「对个例不可靠」,并且经常会导致人类永远不会出现的错误,如将牙刷分类为棒球棒。



结果与数据一样好。输入不准确或不完整数据的神经网络将产生错误的结果,输出结果可能既尴尬又有害。在两个最出名的缺陷中,Google 图像错误地将非洲裔美国人分类为大猩猩,而微软的 Tay 在 Twitter 上学习了几个小时后,就出现了种族主义以及歧视女性的言论。


我们的输入数据中隐含有不期望的偏差。Google 的大规模 Word2Vec 嵌入是在 Google 新闻的 300 万字基础上建立的。数据集中含有诸如「男性成为医生,女性成为护士」这样的性别偏见关联。研究人员,如波士顿大学的 Tolga Bolukbasi,已经采取了在 Mechanical Turk 上进行人类评级的方式执行「hard de-biasing」来撤销这种关联。


这样的策略是至关重要的,因为根据 Bolukbasi 的说法,「词嵌入不仅反映了刻板印象,同时还会扩大它们」。如果「医生」代表的男性比女性更多,那么算法可能在开放医师职位上将男性求职者定义优先于女性求职者。


最后,生成对抗网络(GAN)的提出者 Ian Goodfellow 表明,神经网络可能被对抗性样本故意地欺骗。通过人眼不可见的方式在数学上处理图像,复杂的攻击者可以欺骗神经网络产生严重错误的分类。



深度学习之外是什么?


我们如何克服深度学习的局限性,并朝着通用人工智能迈进?Chollet 初步的计划包括使用「超级人类模式识别(如深度学习)增强显式搜索和正式系统」,并且他准备从数学证明的角度开始。自动定理证明(ATP)通常使用 brute force 算法进行搜索,而这很快就会导致在实际使用中的组合暴涨。在 DeepMath 项目中,Chollet 和他的同事们使用深度学习辅助证明搜索过程,他们模拟数学家的直觉,即使用哪一类引理(证明中的辅助或中间定理)证明可能是对的。


另一种方法是开发更加可解释性的模型。在手写字体识别中,神经网络目前需要对几万到几十万个样本进行训练才能得出较为优良的分类。然而,DARPA 的 Launchbury 并不仅仅关注像素,他解释道生成模型能学习在任何给定字符后面的笔画,并能使用这种物理结构信息来消除类似数字间的歧义,如 9 或 4。


卷积神经网络(CNN)的推动者,Facebook 的人工智能研究主管 Yann LeCun 提出了「基于能量的模型(energy-based models)」,该模型是克服深度学习限制的一种方法。通常,训练神经网络以得出单个输出,如照片分类标签或翻译的句子。而 LeCun 的基于能量模型(energy-based models)反而给出一整组可能的输出,如句子所有可能的翻译方式和每个配置的分数。


深度学习的推动者 Geoffrey Hinton 希望使用「capsules」代替神经网络中的神经元,他相信其能更准确地反映人类思维中的皮层结构。Hinton 解释道:「进化一定已经找到了一种有效的方法适应感知通路的早期特征,所以它们更有助于以后几个阶段的特征处理。」他希望 capsule-based 神经网络架构将更能抵抗 Goodfellow 上面所提到的对抗性样本攻击。


也许所有这些克服深度学习限制的方法都具有真实价值,也许都没有。只有时间和持续的人工智能研究才能拨开一切迷雾

2018-04-25 09:36:48 lvchunyang66 阅读数 931
  • 深度学习历史与介绍

    了解深度学习的历史和发展; 了解感知器及其优化方法和局限性; 了解深度学习的特点; 了解神经网络

    2697人学习 CSDN就业班
    免费试看

在线性模型中,模型的输出为输入的加权和。假设一个模型的输出y和输入x满足以下关系,那么这个模型就是一个线性模型。


其中w,b为模型的参数。

一、线性模型的最大特点是任意线性模型的组合仍然还是线性模型。

例子:


其中W'是新的参数,这个前向传播的算法完全符合线性模型的定义。从这个例子中可以看出,虽然这个神经网络有两层(不算输入层),但是它和单层神经网络没有区别。以此类推,只通过线性变换,任意层的全连接神经网络和单层神经网络模型的表达能力没有任何区别,而且他们都是线性模型。

这就是线性模型最大的局限性,这也是为什么深度学习要强调非线性的原因。

二、线性模型无法解决非线性问题

在现实世界中,绝大部分的问题都是无法线性分割的,比如判断零件是否合格。线性模型能很好解决线性可分的问题,在深度学习的定义中特意强调它的目的是为了解决更加复杂的问题,而且绝大多是都是非线性的。

这时候一般使用较多的有ReLU、tanh等作为激活函数,就能很好的解决非线性问题了

2017-07-20 17:00:06 csdnvr 阅读数 2080
  • 深度学习历史与介绍

    了解深度学习的历史和发展; 了解感知器及其优化方法和局限性; 了解深度学习的特点; 了解神经网络

    2697人学习 CSDN就业班
    免费试看

原文:The limitations of deep learning
作者:Francois Chollet
译者:聂震坤
审校:苏宓

深度学习:几何视图

深度学习最令人惊讶的特点便是极易上手。十年以前,没有人可以猜得到经过梯度下降法训练过的简单参数模型可以在机器感知问题上实现如此惊人的结果。现在,事实证明,研究者所需要做的只是使用足够大的梯度下降素材来训练参数模型。正如 Feynman 曾经描述宇宙一样,“它并不复杂,只是里面包含的东西实在太多。”

在深度学习中,所有的东西都是一个向量(任何的东西都是几何空间中的一个点)。模型的输入(可能是文字,图片,等等)和目标首先被向量化(变成了一些初始输入向量空间和目标向量空间)。深度学习模型中的每个层都对通过它的数据进行一个简单的几何变换。同时,模型的层链形成一个非常复杂的几何变换,分解成一系列简单的几何变换。这种复杂的转换尝试将输入空间映射到目标空间,一次一个点。该变换按层级的比重进行参数化,这些层根据模型当前执行的程度进行迭代更新。这种几何变换的一个关键特征是它必须是可微分的,这是为了使我们能够通过梯度下降来学习来获得其参数。更直接一点,这意味着从输入到输出的几何变形必须是平滑和连续的——这是一个显着的约束。

这种复杂的几何变换应用到输入数据的整个过程可以理解为一个试图破坏纸球的人在3D中被可视化。褶皱的纸球可以理解为模型开始时的大量输入数据。每一次人的行为则是数据通过不同层级被处理的过程。完整的不起眼的人的手势序列是整个模型的复杂变换。深度学习模型是用于解决高维数据的复杂流形的数学机器。

这便是深度学习的奥妙:将含义转化为向量,几何空间,然后逐步学习将一个空间映射到另一个空间的复杂几何变换。所以开发者需要有足够高的维度的空间以便拥有原始数据关系的全部范围。

深度学习的局限性

可以通过这种简单策略实现的应用程序空间几乎是无限的。然而到目前为止,更多的应用程序对于当前的深入学习技术是完全无法实现的——即使是大量人为注释的数据。例如,你可以组装一个数据,数十万甚至数百万的英文语言描述软件产品的功能。由产品经理编写,由一个团队开发的相应的源代码并且有工程师满足这些要求。即使有这些数据,也不能训练出一个深入的学习模型来简单地阅读产品描述并生成相应的代码库。这只是其中一个例子。

一般来说,无论投入多少数据,任何需要推理式编程或应用科学方法(长期规划和类似算法的数据操作)都无法使用深度学习模式进行实现。 即使是学习具有深层神经网络的排序算法也是非常困难的。

这是因为一个深入的学习模型是“简单的”连续的几何变换链,将一个向量空间映射到另一个。他所可以做的是将一个数据包X映射到另一个数据包Y,并假设存在从X到Y的可学习的连续变换与X:Y的秘籍采用可用性作的数据。所以即使一个深入的学习模型可以被解释为一种程序,相反的大多数程序不能表示为深度学习模型 - 对于大多数任务,要么没有相应的实际大小的深层神经网络来解决任务,要么即使存在一个,它也可能不可学习,即相应的几何变换可能太复杂,或者可能没有可用的数据来学习它。通过堆叠更多层次和使用更多的培训数据来扩展当前的深度学习技术,只能表面缓解其中的一些问题。 深度学习模式在可以代表的方面是非常有限的,而且大多数希望学习的程序不能被表达为连续几何变形的数据流。

拟人化机器学习模型的隐患

现阶段人工智能的一个不得不面对的问题在于研究者们误解了深度学习模式的做法,并高估了自己的实力。人类思想的一个根本特征是我们的“主观意识”,我们倾向于对我们周围的事物投射意向,信仰和知识。在一个石头上画一个笑脸感觉石头都变高兴了。同样在深度学习中,当我们有能力成功地训练一个模型来创作描述图片的标题时,我们误认为该模型“理解”图片的内容以及它产生的标题。然而,当轻微改变训练数据中存在的图像时,研发者会非常惊讶的发现模型开始创作完全荒谬的字幕。

通常,这类行为被强调为对抗例子,是通过向深度学习网络输出错误的样本来欺骗模型进行分类。通过梯度上升,可以稍微修改图像,以便最大化给定类的预测。 通过拍摄一只熊猫,并添加一个“长臂猿”梯度,我们可以得到一个神经网络将这只熊猫分类为长臂猿。 这证明了这些模型的脆弱性,以及它们运行的输入到输出映射与我们自己的人类感知之间的深刻差异。

简而言之,深度学习模式对他们的输入没有任何理解,至少不是从人的意义上来说。我们对图像,声音和语言的理解是基于我们的运动感觉体验。然而机器人却没有这种经验,因此不能以任何以人为本的方式理解他们的驶入。通过输入大量的培训示例来训练我们的模型,我们让他们学习一个几何变换,将数据映射到这个特定的一组示例上的人类概念,但是这个映射只是我们思想中原始模型的简单草图, 从我们的体验中发展出来的假想——就像一面镜子中的一个昏暗的形象。

作为一名机器学习从业者,始终要注意这一点,不要陷入陷阱,认为神经网络了解他们所执行的任务(并不会) - 至少不会对我们有意义。 他们接受了不同于我们教导,进行了不同的,更窄的任务的训练:即将训练投入与训练目标进行比较。 如果向他们展示偏离训练数据的任何东西,机器将以最荒谬的方式打破以前的结论。

局部泛化与极端泛化

在深度学习模型所做的输入与输出之间的简单的几何变形以及人类思考和学习的方式之间似乎存在着根本的区别。人类不仅仅是从亲身体验中进行学习,还提供了明确的学习方法。除了不同的学习过程外,底层的特性有着根本的却别。

人类的能力远不止对刺激做出回应,因为深网或者昆虫也可以。人会对目前的情况形成抽象复杂的模型,并根据这些模型来预测不同的未来,且进行长期的规划。人类有能力将已知的概念融合在一起,来表现以前从未经历过的事情,比如穿着牛仔裤的马,或者想象如果中了彩票会做什么。这种处理假设的能力,使我们的心理模型空间远远超过了我们可以直接体验到的一切。这种行为被称为极端泛化。

这与深层网络的局部泛化形成了鲜明的对比:如果训练时间内新的输入信息差异甚微,则停止从输入到输出的映射。假设使用机器来学习适当的发射参数以解决火箭登陆月球的问题,在使用深网进行此项任务时,无论是使用监督学习还是强化学习进行培训,都需要数以千万次的启动试验作为补充,以便学习从入空间到输出空间的可靠映射。相比之下,人类可以利用抽象能力来提出物理模型——火箭科学,并得到一个精确地解决方案,只需要一次或几次时间即可以让火箭成功登月。同理,如果开发一款控制人体的深网,并希望他学会安全的在城市里行驶。那么在在这种情况下则需要现在各种情况下死掉数千次直到可以推断出危险的行车路线并制定合适的回避行为。当进入一个新的城市,深网有需要重新学习大部分知识。相反,人类能够直接学习安全行为而不用经历死亡,这都要归功于人脑的抽象建模。

简而言之,尽管我们在机器感知方面取得了不小的进步,但是我们仍然离人类级别的人工智能有很大区别。我们的模型只能执行局部泛化,在过去中学习来适应最新的情况。而人类可以极端泛化,迅速适应大胆新奇的情况,或为长期未来的情况进行规划。

总结

作为一个开发者应当记住:迄今为止,深入学习的唯一真正的成功是使用大量的人为注释的数据让机器使用连续的几何变换将空间X映射到空间Y。 做好这一切,则可以改变行业的游戏规则。但想让AI拥有人类的智慧,仍然有很长的路要走。

由中国人工智能学会、阿里巴巴集团 & 蚂蚁金服主办,CSDN、中国科学院自动化研究所承办的第三届中国人工智能大会(CCAI 2017)将于 7 月 22-23 日在杭州召开。作为中国国内高规格、规模空前的人工智能大会,本次大会由中国科学院院士、中国人工智能学会副理事长谭铁牛,阿里巴巴技术委员会主席王坚,香港科技大学计算机系主任、AAAI Fellow 杨强,蚂蚁金服副总裁、首席数据科学家漆远,南京大学教授、AAAI Fellow 周志华共同甄选出在人工智能领域本年度海内外最值得关注的学术与研发进展,汇聚了超过 40 位顶级人工智能专家,带来 9 场权威主题报告,以及“语言智能与应用论坛”、“智能金融论坛”、“人工智能科学与艺术论坛”、“人工智能青年论坛”4 大专题论坛,届时将有超过 2000 位人工智能专业人士参与。

目前,大会火热报名中,扫描下方图片中的二维码或直接点击链接火速抢票。

2019-02-16 11:11:50 weixin_42137700 阅读数 1161
  • 深度学习历史与介绍

    了解深度学习的历史和发展; 了解感知器及其优化方法和局限性; 了解深度学习的特点; 了解神经网络

    2697人学习 CSDN就业班
    免费试看

https://www.toutiao.com/a6657333322399613444/

人工智能研究中深度学习的局限性

 

由于深度学习,人工智能取得了令人难以置信的成就,但它仍然缺乏人的能力。

深度学习是机器学习的一个子集,在过去的十年中,它已经在各种实际应用中提供了超人类的准确性。从彻底改变客户体验、机器翻译、语音识别、自动驾驶汽车、计算机视觉、文本生成、语音理解到众多其他AI应用程序[2]。

与机器学习相比,AI agent基于机器学习算法从数据中学习,深度学习基于神经网络架构,其行为类似于人脑,并允许AI agent分析馈入的数据 - 在类似的结构中对人类的方式。深度学习模型不需要算法来指定如何处理数据,这是因为我们作为人类,收集和消费了大量的数据,它们反过来又被用于深度学习模型中[3]。

“传统”类型的深度学习融合了前馈模块(通常是卷积神经网络)和循环神经网络(现在和存储单元,如LSTM [4]或MemNN [5])的不同组合。这些深度学习模型在“推理”的能力方面受到了限制,例如进行长链扣除,或简化一种方法以获得答案方面。计算的步长受前馈网络中的层数量的限制,并且通过时间跨度,递归神经网络将重新收集事物。

在这一点上就有了一点点小问题。当深度学习模型得到训练时,并不总是清楚如何做出决策[6]。在许多设置中,无论它是否找到正确的解决方案,都是不可接受的;即假设银行利用人工智能评估您的信用价值,然后拒绝给您贷款,在许多州有法律规定银行需要澄清原因。如果银行正在使用深度学习模型进行贷款决策,他们的贷款部门(可能)将无法明确说明贷款被拒绝的原因。

人工智能研究中深度学习的局限性

图1 |由递归神经网络(RNN)生成的字幕,在这种情况下,RNN被训练以识别字幕中的高级图像呈现。

最重要的是缺乏常识。深度学习模型可能是最好的感知模式。然而,他们无法理解模式的含义,也没有理解它们的理由。为了使深度学习模型具有推理能力,我们必须改变它们的结构,以便它们不创建单一输出(即图像的可解释性,段落的翻译等),而是交付的整个安排可选输出(即不同的方式一个句子可以翻译)。这就是能源基础模型的目的:为每个可以想象的变量配置提供一个分数。

逐渐地,这些弱点正在引起广大公众人群对人工智能的关注,特别是自动驾驶汽车,利用类似的深度学习策略在道路上行驶[7]。然而人们总是将它与挫折和死亡关联在一起[8]。尽管对于自动驾驶的深入研究已经证明,它会造成比人类驾驶员少得多的伤亡,人类本身不会完全信任自动驾驶汽车,直至不涉及伤亡。

此外,深度学习的当前形式绝对受到限制,理由是它几乎所有的丰富用途都[19] [20] [21] [22] [23] [24] [25] [26] [27] ] [28] [29] [30] [31] [32]利用人工注释注释监督机器学习,这被认为是一个重要的弱点 - 这种依赖性阻止深度神经网络应用于输入数据不足的问题。为了捕捉现实世界的规律性,有必要从“粗糙”的非注释数据中寻找方法来构建广泛的神经网络。将深度学习与对抗性机器学习技术相结合[17] [18],可能就是我们要寻找的答案。

就一般民众而言 - 不幸的是,公众对于深度学习的认识并没有完全公平的一个理解。如果深度学习的工作仅限于AI研究实验室,那将是一回事。然而,现在每种可能的应用中都使用深度学习技术。技术高管和营销人员对深度学习技术的信任程度令人担忧。虽然深度学习是一项令人难以置信的壮举,但重要的是不仅要探索自己的优势,还要关注并注意其弱点,以便制定行动计划。

Mrinmaya Sachan关于走向文学人工智能的研究[33]提出了一个有趣的案例,探讨如何通过深度学习看到人工智能领域的显著发展,今天的人工智能系统仍然缺乏人类智能的内在本质。然后他深入反思,在人类开始构建具有人类能力(推理,理解,常识)的人工智能系统之前,我们如何在这些任务上评估人工智能系统? - 为了彻底了解和发展真正的智能系统。他的研究提出使用人工智能系统的标准化测试(类似于学生在正规教育系统中进行的测试),通过使用两个框架来进一步开发人工智能系统,其显著的好处可以以社会的形式应用良好的教育。

关于深度学习和决策,我们对神经网络有真正的理论认识吗?

试图模仿大脑结构的人工神经网络拥有众多人工神经元(节点)的连接,网络本身不是一个算法,而是一个框架,各种机器学习算法可以在其上运行以实现所需的任务。神经网络工程的基础几乎完全基于启发式,很少强调网络架构选择,遗憾的是没有明确的理论告诉我们如何为某个模型确定正确数量的神经元。然而,关于神经元数量和模型的整体容量的理论研究[12] [13] [14]还很少,实际应用也比较少。

斯坦福大学教授Sanjeev Arora,对深度神经网络的泛化理论采取了生动的阐述[15],其中他提到了深度学习的概括之谜:为什么训练有素的深度神经网络在以前看不见的数据上表现良好?也就是说,让我们说你用ImageNet训练一个深度学习模型并用随机标签训练它的图像,高精度将是结果。然而,使用推断更高泛化的正则化策略并没有多大帮助[16]。无论如何,训练好的神经网络仍然无法预测未知图像的随机标记,这反过来意味着神经网络不能泛化。

人工智能研究中深度学习的局限性

图2 |单像素攻击成功欺骗了在CIFAR-10数据集上训练的三种类型的深度神经网络。 [9] [10

最近,研究人员通过在大型图像数据集上添加小细微差别来揭示神经网络的模型输出[9],从而暴露出深度神经网络架构的漏洞。在此之前,其他几位研究人员也表示,根据输入的细微差别,显示出相似的脆性水平与输出结果不符。这些类型的结果并没有激发信心,即在自动驾驶汽车中,环境容易出现各种细微差别(雨,雪,雾,阴影,误报等) - 现在想象一个视觉系统被一个视觉系统抛弃了视觉输入的微小变化。我确信特斯拉,优步和其他几家公司已经确定了这些问题,并正在制定解决这些问题的计划,然而,公众也应该意识到这些问题,这一点很重要。

人工智能研究中深度学习的局限性

图3 |一个像素成功攻击深度神经网络(DNN)。首先是原始标签,然后是括号中的攻击输出[9]

如今,我们被技术所包围。从我们家的智能小工具,口袋里的智能手机,办公桌上的计算机到连接我们到互联网的路由器等等。在这些技术的每一种中,基础架构都能正常运行,这要归功于它们构建的坚实的工程原理在深度数学、物理、电气、计算机和软件工程等方面以及所有这些领域 - 数年的统计测试和质量保证。

重要的是要记住,深度学习模型需要大量数据来训练初始模型(为了获得高精度结果而不产生过度拟合,请记住,子序列任务可以从迁移学习中学习),以及最终没有深刻理解“深层神经结构”中真正发生的事情,从长远来看构建可持续的技术解决方案在实际上和理论上并不明智。

参考文献:

[1]深度学习评论| Yann LeCun,Yoshua Bengio,Geoffrey Hinton | http://pages.cs.wisc.edu/~dyer/cs540/handouts/deep-learning-nature2015.pdf

[2] 30个深度学习的惊人应用| Yaron Hadad | http://www.yaronhadad.com/deep-learning-most-amazing-applications/

[3]深度学习导论| Bhiksha Raj |卡内基梅隆大学| http://deeplearning.cs.cmu.edu/

[4]了解LSTM网络|克里斯托弗奥拉| http://colah.github.io/posts/2015-08-Understanding-LSTMs/

[5]记忆增强神经网络| Facebook AI研究| https://github.com/facebook/MemNN

[6]人工智能核心的黑暗秘密|麻省理工学院技术评论| https://www.technologyreview.com/s/604087/the-dark-secret-at-the-heart-of-ai/

[7]麻省理工学院6.S094:自动驾驶汽车的深度学习|麻省理工学院| https://selfdrivingcars.mit.edu/

[8]自驾车死亡人员名单|维基百科| https://en.wikipedia.org/wiki/List_of_self-driving_car_fatalities

[9]愚弄深度神经网络的一个像素攻击| Suwei Wei Su,Danilo Vasconcellos Vargas,Kouichi Sakurai | https://arxiv.org/pdf/1710.08864.pdf

[10]加拿大高等研究院数据集| CIFAR-10数据集| https://www.cs.toronto.edu/~kriz/cifar.html

[11]图片,由机器学习回忆录提供| https://mlmemoirs.xyz

[12]深度神经网络容量| Aosen Wang,周华,徐文耀,陈鑫| Arxiv | https://arxiv.org/abs/1708.05029

[13]使用代数拓扑表征神经网络的能力William H. Guss,Ruslan Salakhutdinov |卡内基梅隆大学计算机科学学院机器学习部| https://arxiv.org/pdf/1802.04443.pdf

[14]信息论,复杂性和神经网络| Yaser S. Abu-Mostafa |加州理工学院| http://work.caltech.edu/pub/Abu-Mostafa1989nnet.pdf

[15]泛化理论和深网,简介| Sanjeev Arora |斯坦福大学| http://www.offconvex.org/2017/12/08/generalization1/

[16]理解深度学习需要重新思考泛化| Chiyuan Zhang,Samy Bengio,Moritz Hardt,Benjamin Recht,Oriol Vinyals | https://arxiv.org/pdf/1611.03530.pdf

[17]对抗设置中深度学习的局限性| Nicolas Papernot,Patrick McDaniel,Somesh Jha,Matt Fredrikson,Z。Berkay Celik,Ananthram Swami |第一届IEEE欧洲安全与隐私研讨会论文集,IEEE 2016.德国萨尔布吕肯| http://patrickmcdaniel.org/pubs/esp16.pdf

[18]对抗设置中的机器学习| Patrick McDaniel,Nicolas Papernot和Z. Berkay Celik |宾州州立大学| http://patrickmcdaniel.org/pubs/ieeespmag16.pdf

[19] Alex Krizhevsky,Ilya Sutskever和Geoffrey E. Hinton。深度卷积神经网络的Imagenet分类。 “神经信息处理系统进展”,2012年。

[20] Yaniv Taigman,Ming Yang,Marc'Aurelio Ranzato和Lior Wolf。深入研究:在面部验证中弥补人类绩效的差距。在IEEE计算机视觉和模式识别会议论文集,第1701-1708页,2014年。

[21] Karen Simonyan和Andrew Zisserman。用于大规模图像识别的非常深的卷积网络。神经信息处理系统的进展,2015。

[22] Christian Szegedy,刘伟,杨洋庆,Pierre Sermanet,Scott Reed,Dragomir Anguelov,Dumitru Erhan,Vincent Vanhoucke,Andrew Rabinovich,et al。进一步深化卷积。在IEEE计算机视觉和模式识别会议(CVPR)的会议录中,2015年。

[23]何开明,张翔宇,任少卿,孙健。深入研究整流器:超越图像网络分类的人性化表现。在IEEE国际计算机视觉会议论文集,第1026-1034页,2015年。

[24]何开明,张翔宇,任少卿,孙健。深度残差学习用于图像识别。在IEEE计算机视觉和模式识别会议论文集(CVPR),第770-778页,2016年。

[25] Geoffrey Hinton,Li Deng,Dong Yu,George E Dahl,Abdel-rahman Mohamed,Navdeep Jaitly,Andrew Senior,Vincent Vanhoucke,Patrick Nguyen,Tara N Sainath,et al。用于语音识别中声学建模的深度神经网络:四个研究小组的共同观点。 IEEE信号处理杂志,29(6):82-97,2012。

[26] Awni Hannun,Carl Case,Jared Casper,Bryan Catanzaro,Greg Diamos,Erich Elsen,Ryan Prenger,Sanjeev Satheesh,Shubho Sengupta,Adam Coates,et al。深度演讲:扩展端到端语音识别。 arXiv preprint arXiv:1412.5567,2014。

[27] Wayne Xiong,Jasha Droppo,黄学东,Frank Seide,Mike Seltzer,Andreas Stolcke,Dong Yu和Geoffrey Zweig。在会话语音识别中实现人类平等。 arXiv preprint arXiv:1610.05256,2016。

[28] Chung-Cheng Chiu,Tara N Sainath,Wu Yonghui Wu,Rohit Prabhavalkar,Patrick Nguyen,Zhifeng Chen,Anjul

2017-05-19 13:59:10 bystarlight 阅读数 1367
  • 深度学习历史与介绍

    了解深度学习的历史和发展; 了解感知器及其优化方法和局限性; 了解深度学习的特点; 了解神经网络

    2697人学习 CSDN就业班
    免费试看

原文链接

理解深度学习的局限性

王二辉 2017-05-17 10:38:00 浏览23 评论0

深度学习 大数据 算法 人工智能 神经网络

摘要: 人工智能空前火热。许多公司已经用IBM Watson系统取代了工人;人工智能算法甚至能比医生更准确地诊断病人。新的人工智能创业公司如雨后春笋,宣称可以使用机器学习来解决你所有个人问题和商业问题。  许多平时看似普通的物品,像是果汁机、Wi-Fi路由器,做广告时都说自己由人工智能驱动。


0?wx_fmt=png

人工智能空前火热。许多公司已经用IBM Watson系统取代了工人;人工智能算法甚至能比医生更准确地诊断病人。新的人工智能创业公司如雨后春笋,宣称可以使用机器学习来解决你所有个人问题和商业问题。 

许多平时看似普通的物品,像是果汁机、Wi-Fi路由器,做广告时都说自己由人工智能驱动。又比如智慧书桌,不仅能记住你不同时段所需要的高度设置,还能帮你叫外卖。

许多喧嚣人工智能的报道其实是由那些从没亲手训练实现过一个神经网络的记者,或是那些还没解决任何实际商业问题却想招募天才工程师的初创公司写的。怪不得大众会对人工智能能做什么不能做什么有那么多误解。


不可否认,深度学习让人异常兴奋

神经网络早在六十年代就被发明,但最近大数据和计算能力的提升才使它在实际应用中取得效果。已经出现了一个名为“深度学习”的新学科,它可以应用复杂的神经网络架构,比以前更准确地对数据模型进行建模。

深度学习成果斐然。如今,深度学习可以识别图像和视频中的物体,可以将语音转化成文字,甚至比人做得更好。谷歌将谷歌翻译的结构替换成了神经网络,现在机器翻译的表现已经非常接近人类。  

深度学习的实际应用同样让人兴奋。计算机可以比政府农业机构更准确地预测农作物产量;在诊断癌症上,甚至比最优秀的医师更加准确。

美国国防部高等研究计划署的主管John Launchbury描述了人工智能的三个浪潮:

1.人工选择的知识表达,或者像是IBM深蓝、沃森这样的专家系统。

2.统计学习,包括机器学习和深度学习。

3.内容适应,涉及到用稀疏数据给现实世界的现象构建可靠可解释的模型,像人类一样。

作为人工智能第二波的一部分, 深度学习算法效果很好,这是因为Launchbury所说的流形假设。简单来说,这是指出了在较低维度下可视化时,不同类型的高维自然数据如何趋于聚集和变形。

0?wx_fmt=png

通过数学操作和分离数据块,深度学习能够区分不同的数据类型。虽然神经网络可以取得精确的分类及预测能力,这些本质上源于Launchbury所说的“增强版的电子表格”。

0?wx_fmt=png


深度学习也有深层问题

最近湾区人工智能创业者会议上,Francois Cholle强调说深度学习仅仅只是比之前的统计和机器学习方法更强大的模式识别方法。 Cholle是谷歌人工智能研究员,也是发明了深度学习Keras的著名开发者。他认为人工智能最关键的问题是抽象和推理。现如今的监督学习和强化学习需要太多数据,无法像人一样做推理规划,只是在做简单的模式识别。

相反,人类可以从非常少数的例子中学习,可以安排长期的计划,并且能够形成一种情形的抽象模型,并将这些模型用到更多不同的情况之中。

即便让深度学习算法学会非常简单的人类行为也是一件费劲的事! 想想看当你走在路上想要躲开撞向你的车时,如果你想通过监督学习决定下一步要怎么做,你需要大量标记了车辆情景和应该采取的行动的数据,像是“停止”或者“移动”。然后你要训练一个神经网络去学习情景和应该采取的行动之间的映射。

如果用强化学习的方式,给你的算法一个目标,然后让它自行决定最佳的行动是什么,在计算机学会不同道路情况下躲开汽车之前,可能早已经被车撞死几千次了

Chollet提醒人们不可能仅仅通过加强当今的深度学习算法来取得通用智能。

人类只要别人说一次就知道要避开车。我们有能力从少数例子来泛化我们学到的知识,并且可以想象从被车撞到后会有多糟糕。我们大多数人很快就能学会毫发无损的躲开汽车。

当神经网络在大规模数据上取得统计意义明显的成果时,个体数据上却是不可靠的,并且常常会犯人们不会犯的错误,比如把牙刷预测成棒球棍。

0?wx_fmt=png


你的结果只会和你的数据一样好。给神经网络不准确或者不完整的数据只会得到错误的结果。这些结论既很尴尬,还很危险!两次公关危机中,谷歌错误得把黑人识别成大猩猩,微软的系统仅仅用推特的数据训练几小时后就学会种族歧视,女性歧视的言论了。

我们的输入数据中潜藏着不希望的偏差。谷歌庞大的词向量系统建立在谷歌新闻的三百万条新闻之上。数据集会自己做出像父亲是医生母亲是护士的联系,反映了我们语言中的性别偏见。波士顿大学的研究人员Tolga Bolukbasi借助了亚马逊Mechanical Turk众筹平台,利用人们的评分来尝试去除这些偏见的联系。

Bolukbasi认为这个思路是至关重要的,因为词向量不仅会反映成见,还会放大成见。如果医生更多的和男性联系在一起,那么算法会优先将男性工作申请者匹配到医师的职位上去。

最后,生成式对抗性网络的发明人Ian Goodfellow展示了神经网络会被反例给欺骗。给图像做一些人眼看不出来的操作之后,复杂的攻击者欺骗了神经网络使其无法正确识别出物体。

0?wx_fmt=png


深度学习之后是什么?

我们如何克服深度学习的局限性并通向通用智能呢?Chollet最早的计划是从数学证明领域开始使用超越人类的模式识别,比如深度学习来帮助增强搜索和形式系统。

自动定理证明器通常暴力搜索每一种可能的情形,实际应用中很快就会遇到组合爆炸的问题(搜索时间指数性上涨)。在深度数学项目中,Chollet和他的同事使用深度学习来协助定理搜索的过程,模拟数学家关于哪些引理会是有用的直觉。

另一种方式是开发更易于解释的模型。手写识别中,神经网络通常要有成千上万的数据才能达到还不错的分类结果。相比着眼于像素,Launchbury认为生成式模型可以学会任意一个文字的笔划,然后用这些笔划信息来区分相似的数字,比如9和4。

卷积神经网络的创始人兼脸书人工智能研究总监Yann LeCun提出了一种基于能量的模型来克服深度学习中的局限性。通常而言,我们只会训练神经网络产生一个输出,像是一个图像的标签或者一句话的翻译。LeCun的基于能量的模型则给出了所有可能输出的集合,比如说一句话所有可能的翻译方式,以及每种翻译方式对应的评分。

深度学习之父Geoffrey Hinton想用块状结构 来取代神经网络中的神经元结果。他相信这样能更准确地反映人类大脑的生理学模型。生物进化必然已经发现了一种能高效地在初级神经感知回路进行特征调整的方式,这些调整会对后续神经回路特征表达非常有用。Hinton希望块状的神经网络结构能够更有效的应对之前Goodfellow提出的对抗训练。

也许所有这些克服深度学习局限性的方法都有自己的价值,也许都没有。只有时间和人工智能领域的持续投入才能告诉我们答案。

原文发布时间为:2017-04-26

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号