局限性_时间局限性 - CSDN
精华内容
参与话题
  • 理解深度学习的局限性

    千次阅读 2017-05-19 13:59:10
    理解深度学习的局限性 王二辉 2017-05-17 10:38:00 浏览23 评论0 深度学习 大数据 算法 人工智能 神经网络 摘要: 人工智能空前火热。许多公司已经用IBM Watson系统取代了工人;人工智能算法...

    原文链接

    理解深度学习的局限性

    王二辉 2017-05-17 10:38:00 浏览23 评论0

    深度学习 大数据 算法 人工智能 神经网络

    摘要: 人工智能空前火热。许多公司已经用IBM Watson系统取代了工人;人工智能算法甚至能比医生更准确地诊断病人。新的人工智能创业公司如雨后春笋,宣称可以使用机器学习来解决你所有个人问题和商业问题。  许多平时看似普通的物品,像是果汁机、Wi-Fi路由器,做广告时都说自己由人工智能驱动。


    0?wx_fmt=png

    人工智能空前火热。许多公司已经用IBM Watson系统取代了工人;人工智能算法甚至能比医生更准确地诊断病人。新的人工智能创业公司如雨后春笋,宣称可以使用机器学习来解决你所有个人问题和商业问题。 

    许多平时看似普通的物品,像是果汁机、Wi-Fi路由器,做广告时都说自己由人工智能驱动。又比如智慧书桌,不仅能记住你不同时段所需要的高度设置,还能帮你叫外卖。

    许多喧嚣人工智能的报道其实是由那些从没亲手训练实现过一个神经网络的记者,或是那些还没解决任何实际商业问题却想招募天才工程师的初创公司写的。怪不得大众会对人工智能能做什么不能做什么有那么多误解。


    不可否认,深度学习让人异常兴奋

    神经网络早在六十年代就被发明,但最近大数据和计算能力的提升才使它在实际应用中取得效果。已经出现了一个名为“深度学习”的新学科,它可以应用复杂的神经网络架构,比以前更准确地对数据模型进行建模。

    深度学习成果斐然。如今,深度学习可以识别图像和视频中的物体,可以将语音转化成文字,甚至比人做得更好。谷歌将谷歌翻译的结构替换成了神经网络,现在机器翻译的表现已经非常接近人类。  

    深度学习的实际应用同样让人兴奋。计算机可以比政府农业机构更准确地预测农作物产量;在诊断癌症上,甚至比最优秀的医师更加准确。

    美国国防部高等研究计划署的主管John Launchbury描述了人工智能的三个浪潮:

    1.人工选择的知识表达,或者像是IBM深蓝、沃森这样的专家系统。

    2.统计学习,包括机器学习和深度学习。

    3.内容适应,涉及到用稀疏数据给现实世界的现象构建可靠可解释的模型,像人类一样。

    作为人工智能第二波的一部分, 深度学习算法效果很好,这是因为Launchbury所说的流形假设。简单来说,这是指出了在较低维度下可视化时,不同类型的高维自然数据如何趋于聚集和变形。

    0?wx_fmt=png

    通过数学操作和分离数据块,深度学习能够区分不同的数据类型。虽然神经网络可以取得精确的分类及预测能力,这些本质上源于Launchbury所说的“增强版的电子表格”。

    0?wx_fmt=png


    深度学习也有深层问题

    最近湾区人工智能创业者会议上,Francois Cholle强调说深度学习仅仅只是比之前的统计和机器学习方法更强大的模式识别方法。 Cholle是谷歌人工智能研究员,也是发明了深度学习Keras的著名开发者。他认为人工智能最关键的问题是抽象和推理。现如今的监督学习和强化学习需要太多数据,无法像人一样做推理规划,只是在做简单的模式识别。

    相反,人类可以从非常少数的例子中学习,可以安排长期的计划,并且能够形成一种情形的抽象模型,并将这些模型用到更多不同的情况之中。

    即便让深度学习算法学会非常简单的人类行为也是一件费劲的事! 想想看当你走在路上想要躲开撞向你的车时,如果你想通过监督学习决定下一步要怎么做,你需要大量标记了车辆情景和应该采取的行动的数据,像是“停止”或者“移动”。然后你要训练一个神经网络去学习情景和应该采取的行动之间的映射。

    如果用强化学习的方式,给你的算法一个目标,然后让它自行决定最佳的行动是什么,在计算机学会不同道路情况下躲开汽车之前,可能早已经被车撞死几千次了

    Chollet提醒人们不可能仅仅通过加强当今的深度学习算法来取得通用智能。

    人类只要别人说一次就知道要避开车。我们有能力从少数例子来泛化我们学到的知识,并且可以想象从被车撞到后会有多糟糕。我们大多数人很快就能学会毫发无损的躲开汽车。

    当神经网络在大规模数据上取得统计意义明显的成果时,个体数据上却是不可靠的,并且常常会犯人们不会犯的错误,比如把牙刷预测成棒球棍。

    0?wx_fmt=png


    你的结果只会和你的数据一样好。给神经网络不准确或者不完整的数据只会得到错误的结果。这些结论既很尴尬,还很危险!两次公关危机中,谷歌错误得把黑人识别成大猩猩,微软的系统仅仅用推特的数据训练几小时后就学会种族歧视,女性歧视的言论了。

    我们的输入数据中潜藏着不希望的偏差。谷歌庞大的词向量系统建立在谷歌新闻的三百万条新闻之上。数据集会自己做出像父亲是医生母亲是护士的联系,反映了我们语言中的性别偏见。波士顿大学的研究人员Tolga Bolukbasi借助了亚马逊Mechanical Turk众筹平台,利用人们的评分来尝试去除这些偏见的联系。

    Bolukbasi认为这个思路是至关重要的,因为词向量不仅会反映成见,还会放大成见。如果医生更多的和男性联系在一起,那么算法会优先将男性工作申请者匹配到医师的职位上去。

    最后,生成式对抗性网络的发明人Ian Goodfellow展示了神经网络会被反例给欺骗。给图像做一些人眼看不出来的操作之后,复杂的攻击者欺骗了神经网络使其无法正确识别出物体。

    0?wx_fmt=png


    深度学习之后是什么?

    我们如何克服深度学习的局限性并通向通用智能呢?Chollet最早的计划是从数学证明领域开始使用超越人类的模式识别,比如深度学习来帮助增强搜索和形式系统。

    自动定理证明器通常暴力搜索每一种可能的情形,实际应用中很快就会遇到组合爆炸的问题(搜索时间指数性上涨)。在深度数学项目中,Chollet和他的同事使用深度学习来协助定理搜索的过程,模拟数学家关于哪些引理会是有用的直觉。

    另一种方式是开发更易于解释的模型。手写识别中,神经网络通常要有成千上万的数据才能达到还不错的分类结果。相比着眼于像素,Launchbury认为生成式模型可以学会任意一个文字的笔划,然后用这些笔划信息来区分相似的数字,比如9和4。

    卷积神经网络的创始人兼脸书人工智能研究总监Yann LeCun提出了一种基于能量的模型来克服深度学习中的局限性。通常而言,我们只会训练神经网络产生一个输出,像是一个图像的标签或者一句话的翻译。LeCun的基于能量的模型则给出了所有可能输出的集合,比如说一句话所有可能的翻译方式,以及每种翻译方式对应的评分。

    深度学习之父Geoffrey Hinton想用块状结构 来取代神经网络中的神经元结果。他相信这样能更准确地反映人类大脑的生理学模型。生物进化必然已经发现了一种能高效地在初级神经感知回路进行特征调整的方式,这些调整会对后续神经回路特征表达非常有用。Hinton希望块状的神经网络结构能够更有效的应对之前Goodfellow提出的对抗训练。

    也许所有这些克服深度学习局限性的方法都有自己的价值,也许都没有。只有时间和人工智能领域的持续投入才能告诉我们答案。

    原文发布时间为:2017-04-26

    本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号


    展开全文
  • 程序的时间局限性和空间局限性

    千次阅读 2018-04-24 10:19:46
    时间局限性和空间局部性的意义分别为( )。 A.最近被访问的单元,很可能在不久的将来还要被访问 B.最近被访问的单元,很可能它附近的单元也即将被访问 C.结构化程序设计,很少出现转移语句 D.程序中循环语句的...

    时间局限性和空间局部性的意义分别为( )。

    A.最近被访问的单元,很可能在不久的将来还要被访问
    B.最近被访问的单元,很可能它附近的单元也即将被访问
    C.结构化程序设计,很少出现转移语句
    D.程序中循环语句的执行一般时间很长

     

    正确答案

    A,B

    答案解析

    A是时间局域性,B是空间局域性。C、D有可能正确,但并不是时空局域性的根本定义,或者说,C和D是造成时空局域性的原因,而不是时空局域性的意义。

    展开全文
  • 深度学习较其他机器学习方法在各类...因此本文力图阐述深度学习的局限性,引发更多对深度学习的思考。 人工智能已经达到了炒作的顶峰。新闻报告称有的公司已经使用 IBM Watson 取代了工人、算法在诊断上击败

    深度学习较其他机器学习方法在各类任务中都表现优异,各个机构或院校也花了巨大的精力和时间投入到深度学习,并取得了令人惊叹的成就。但深度学习近来也暴露出其内在缺陷,很多学界领军人物都在积极探讨解决办法和替代方案。因此本文力图阐述深度学习的局限性,引发更多对深度学习的思考。


    人工智能已经达到了炒作的顶峰。新闻报告称有的公司已经使用 IBM Watson 取代了工人、算法在诊断上击败了职业医生。每天都会有新的人工智能创业公司出现,宣称能使用机器学习取代你的私人和商业难题。


    榨汁机、Wi-Fi 路由器这样普通的物品也忽然宣称是「由人工智能驱动」。智能的站立式桌子不仅能记住你调节的高度,也能为你点餐。


    许多有关人工智能的喧哗都由那些从未训练过神经网络的记者,创业公司或者从未真正解决过商业难题却想要被高价聘请的编程人才所发出的。所以,有关人工智能的能力与限制,难免有如此多的误解。


    深度学习无疑使人兴奋


    神经网络创造于上世纪 60 年代,但近年来大数据和计算能力的增加使得它们在实际上变得有用。于是,一种名为「深度学习」的新的学科出现,它能使用复杂的神经网络架构以前所未有的准确率建模数据中的模式。


    结果无疑使人惊讶。计算机如今能比人类更好地识别图像和视频中的物体以及将语音转录为文本。谷歌就用神经网络取代了谷歌翻译的架构,如今机器翻译的水平已经很接近人类了。


    深度学习在实际应用中也令人兴奋。计算机能够比 USDA 更好的预测农作物产量,比医师更准确的诊断癌症。DARPA 的主任 John Launchbury 曾这样描述人工智能的三个浪潮:


    1. 像 IBM 的深蓝或 Watson 这样的人工编码知识或专家系统;

    2. 统计学习,包括机器学习与深度学习;

    3. 环境自适应,涉及到使用稀疏数据为真实的世界现象构建可靠的、可解释的模型,就像人类一样。


    作为目前人工智能浪潮的第二波,深度学习算法因为 Launchbury 所说的「流形假设(manifold hypothesis)」(见下图)而更加有效。简单解释,它指代不同类型的高维自然数据如何聚成一块,并在低维可视化中有不同的形状。



    通过数学运算并分割数据块,深度神经网络能区分不同的数据类型。虽然神经网络能够取得精妙的分类与预测能力,它们基本上还是 Launchbury 所说的「spreadsheets on steroids」。



    深度学习也有深度难题


    在最近的 AI By The Bay 大会上,Francois Chollet 强调深度学习是比以前的统计学和机器学习方法更为强大的模式识别方法。「人工智能如今最重要的问题是抽象和推理,」Google 的人工智能研究员 Chollet 解释到,他是著名的深层学习库 Keras 的构建者。他说:「目前的监督感知和强化学习算法需要大量的数据,在长远规划中是很难实现的,这些算法只能做简单的模式识别。」


    相比之下,人类「从很少的案例中学习,可以进行长远规划,他们能够形成一种情境的抽象模型,并 [操纵] 这些模型实现极致的泛化。


    即使是简单的人类行为,也很难教授给深度学习算法。例如我们需要学习在路上避免被汽车撞上,如果使用监督学习,那就需要巨量的汽车情境数据集,且明确标注了动作(如「停止」或「移动」),然后你需要训练一个神经网络来学习映射不同的情况和对应的行动。


    如果采用强化学习,那你需要给算法一个目标,让它独立地确定理想的行动。为学习到在不同情况下躲避汽车,计算机可能需要先被撞上千次。Chollet 警告说:「仅仅通过扩大今天的深度学习技术,我们无法实现通用智能。


    躲避汽车,人类只需要告知一次就行。我们具有从简单少量的例子中概括出事物的能力,并且能够想象(即模拟)操作的后果。我们不需要失去生命或肢体,就能很快学会避免被车撞上。


    虽然神经网络在大样本量上达到统计学上令人惊讶成果,但它们「对个例不可靠」,并且经常会导致人类永远不会出现的错误,如将牙刷分类为棒球棒。



    结果与数据一样好。输入不准确或不完整数据的神经网络将产生错误的结果,输出结果可能既尴尬又有害。在两个最出名的缺陷中,Google 图像错误地将非洲裔美国人分类为大猩猩,而微软的 Tay 在 Twitter 上学习了几个小时后,就出现了种族主义以及歧视女性的言论。


    我们的输入数据中隐含有不期望的偏差。Google 的大规模 Word2Vec 嵌入是在 Google 新闻的 300 万字基础上建立的。数据集中含有诸如「男性成为医生,女性成为护士」这样的性别偏见关联。研究人员,如波士顿大学的 Tolga Bolukbasi,已经采取了在 Mechanical Turk 上进行人类评级的方式执行「hard de-biasing」来撤销这种关联。


    这样的策略是至关重要的,因为根据 Bolukbasi 的说法,「词嵌入不仅反映了刻板印象,同时还会扩大它们」。如果「医生」代表的男性比女性更多,那么算法可能在开放医师职位上将男性求职者定义优先于女性求职者。


    最后,生成对抗网络(GAN)的提出者 Ian Goodfellow 表明,神经网络可能被对抗性样本故意地欺骗。通过人眼不可见的方式在数学上处理图像,复杂的攻击者可以欺骗神经网络产生严重错误的分类。



    深度学习之外是什么?


    我们如何克服深度学习的局限性,并朝着通用人工智能迈进?Chollet 初步的计划包括使用「超级人类模式识别(如深度学习)增强显式搜索和正式系统」,并且他准备从数学证明的角度开始。自动定理证明(ATP)通常使用 brute force 算法进行搜索,而这很快就会导致在实际使用中的组合暴涨。在 DeepMath 项目中,Chollet 和他的同事们使用深度学习辅助证明搜索过程,他们模拟数学家的直觉,即使用哪一类引理(证明中的辅助或中间定理)证明可能是对的。


    另一种方法是开发更加可解释性的模型。在手写字体识别中,神经网络目前需要对几万到几十万个样本进行训练才能得出较为优良的分类。然而,DARPA 的 Launchbury 并不仅仅关注像素,他解释道生成模型能学习在任何给定字符后面的笔画,并能使用这种物理结构信息来消除类似数字间的歧义,如 9 或 4。


    卷积神经网络(CNN)的推动者,Facebook 的人工智能研究主管 Yann LeCun 提出了「基于能量的模型(energy-based models)」,该模型是克服深度学习限制的一种方法。通常,训练神经网络以得出单个输出,如照片分类标签或翻译的句子。而 LeCun 的基于能量模型(energy-based models)反而给出一整组可能的输出,如句子所有可能的翻译方式和每个配置的分数。


    深度学习的推动者 Geoffrey Hinton 希望使用「capsules」代替神经网络中的神经元,他相信其能更准确地反映人类思维中的皮层结构。Hinton 解释道:「进化一定已经找到了一种有效的方法适应感知通路的早期特征,所以它们更有助于以后几个阶段的特征处理。」他希望 capsule-based 神经网络架构将更能抵抗 Goodfellow 上面所提到的对抗性样本攻击。


    也许所有这些克服深度学习限制的方法都具有真实价值,也许都没有。只有时间和持续的人工智能研究才能拨开一切迷雾

    展开全文
  • MapReduce的局限性

    千次阅读 2017-05-04 17:46:43
    从MapReduce 的特点可以看出MapReduce的优点非常明显,但是MapReduce也有其局限性,并不是处理海量数据的普适方法。它的局限性主要体现在以下几点。  MapReduce的执行速度慢。一个普通的MapReduce作业一般在分钟...

        从MapReduce 的特点可以看出MapReduce的优点非常明显,但是MapReduce也有其局限性,并不是处理海量数据的普适方法。它的局限性主要体现在以下几点。

    •   MapReduce的执行速度慢。一个普通的MapReduce作业一般在分钟级别完成,复杂的作业或者数据量更大的情况下,也可能花费一小时或者更多,好在离线计算对于时间远没有OLTP那么敏感。所以MapReduce现在不是,以后也不会是关系型数据库的终结者。MapReduce的慢主要是由于磁盘I/O,  MapReduce作业通常都是数据密集型作业,大量的中间结果需要写到磁盘上并通过网络进行传输,这耗去了大量的时间。
    •   MapReduce过于底层。与SQL相比,MapReduce显得过于底层。对于普通的查询,一般人是不会希望写一个map函数和reduce函数的。对于习惯于关系型数据库的用户,或者数据分析师来说,编写map函数和reduce函数无疑是一件头疼的事情。好在Hive的出现,大大改善了这种状况。
    •  不是所有算法都能用MapReduce实现。这意味着,不是所有算法都能实现并行。例如机器学习的模型训练,这些算法需要状态共享或者参数间有依赖,且需要集中维护和更新。





    本文参考书籍------Hadoop海量数据处理 技术详解与项目实战

    展开全文
  • 时间局限性和空间局限性

    千次阅读 2008-09-23 16:43:00
    程序的时间局限性和空间局限性对于性能在理论上有很根本的影响,现在机器的性能可能会让人忽视这一点,但这种思想不应该忽视,好好利用缓存。
  • 实例剖析单例模式的局限性

    千次阅读 2014-01-10 23:57:47
    单例模式是23中设计模式之一,我认为单例模式是一种极其简约的模式。因为在设计或开发中,肯定会有这么一种情况,一个类只能有一个对象被创建,如果有多个对象的话,可能会导致状态的混乱和不一致。...
  • 空间和时间局部描述了程序如何访问数据(或指令)的两个不同特征。 定义: 如果在时间上被引用的事物在空间上也接近(相邻的存储器地址,磁盘上的邻近扇区等),则引用序列被认为具有空间局部(Spatial Locality...
  • CT和MRI的局限性分析

    千次阅读 2014-07-07 17:13:03
    但也存在一些应用上的局限性。在这些局限性中,有的为检查方法的基本原理所限制,比较难以克服;有的为机器性能和技术因素所引起,可通过科学技术的进步和新技术的开发加以克服;有的是人为因素所造成的,通过技术...
  • Hadoop的局限性

    千次阅读 2015-09-21 12:33:55
    1、抽象层次低,需要手工编写代码来完成,使用上难以上手; 2、只提供两个操作,Map和Reduce,表达力欠缺; 3、一个Job只有Map和Reduce两个阶段(Phase),复杂的计算需要大量的Job完成,Job之间的依赖关系是由...
  • 我的世界观-6-人类感官的局限性

    千次阅读 2012-07-19 15:11:01
    神经元是感知世界的唯一途径,因为感知世界就是神经元网络对外界刺激的一种反应。  动物只能感知变化的信号(信号意味着变化,信号是一个物理量的变化),人体内脏都... 任何系统均有其局限性,人类的所有感官也一
  • 程序局限性表现

    2018-12-14 23:01:24
    1.时间局限性  某指令一旦执行,则不久后该指令可能再被执行;某数据被访问过,则不久后该数据可能再次被访问。 2.空间局限性  程序在一段时间内所访问的地址,可能集中在一定的范围之内,其典型的情况便是程序...
  • 线性回归模型的局限性和注意点

    千次阅读 2020-03-03 22:10:46
    回归分析是传统的研究变量关系很重要的一种方式,特别是在机器学习和深度... 线性回归分析在实际使用中,虽然简单有效,但是使用者往往很容易因为没有充分认识到线性回归模型的局限性和注意点而误用,导致得到很多...
  • 随着web 2.0的迅猛发展,网站页面的交互性...我们看待任何一门语言都是从二方面来看待的:优越性和局限性。今天小编来说说Ajax技术的优越性和局限性。 优越性: 1.表单驱动的交互 传统的表单提交,在文本框
  • 人工智能的三大局限性

    千次阅读 2018-08-13 19:26:54
    事实上,与其他任何技术一样,AI也有其局限性。 任何技术都有局限性,AI和人工智能也不例外。其局限有三:检测、功耗和人力。 思科一份最近的调查显示,39%的CISO称其公司依赖自动化推动网络安全工作,另有34%...
  • 调研目前主要的开源网络爬虫,并且说明各自的特点、局限性以及相互之间的区别。提交方式:word打印稿。 答:网络蜘蛛(Web spider)也叫网络机器人,指的是“自动化浏览网络”的程式。这样的电脑程式是为了自动从...
  • 一文带你理解深度学习的局限性

    千次阅读 2017-07-20 17:00:06
    原文:The limitations of deep learning 作者:Francois Chollet 译者:聂震坤 审校:苏宓 深度学习:几何视图深度学习最令人惊讶的特点便是极易上手。十年以前,没有人可以猜得到经过梯度下降法训练过的简单...
  • OC语言—多态局限性

    2014-07-24 23:03:07
    OC语言—多态局限性 /* 多态局限性 1、代码的体现:父类的指针指向子类对象 2、优点:如果函数\方法参数中使用的是父类类型,可以传入父类、子类对象 3、局限性;1->父类类型的变量 不能 直接调用子类特有的...
  • 物联网技术的局限性。不同场景间的物体对网络速率、覆盖要求、链接数量差异巨大。没有一种技术可以端到端、全方位的满足物联网不同应用场景之间的差异化需求。以无人驾驶与家里的水电表为例,他们对网络性能需求是两...
  • NAT方法的局限性

    千次阅读 2018-02-27 23:04:43
    1.NAT(Network Address Translation,网络地址转换),该技术可以将在专用IP网络中的主机通过NAT路由器连接到互联网。按照之前的知识,我们知道当一个主机处在专用IP网络中时,即使该专用网络中有接入互联网的路由器...
  • 线性模型的局限性

    千次阅读 2018-03-04 10:57:09
    1.线性模型的局限性1-1.线性模型的定义:假设一个模型的输出y和输入xi满足如下关系,则这个模型就是线性 模型。当模型的输入只有一个的时候,x和y形成了二维坐标系上的一条直线。当模型的输入为n个的时候,x和y形成...
1 2 3 4 5 ... 20
收藏数 331,806
精华内容 132,722
关键字:

局限性