精华内容
下载资源
问答
  • 本文从介绍人工智能及主要的思想派系,进一步系统地梳理了其发展历程、标志性成果并侧重其算法思想介绍,将这段 60余年几经沉浮的历史,以一个清晰的脉络呈现出来,以此展望人工智能AI)未来的趋势。

    人工智能将和电力一样具有颠覆性 。 --吴恩达


    如同蒸汽时代的蒸汽机、电气时代的发电机、信息时代的计算机和互联网,人工智能(AI)正赋能各个产业,推动着人类进入智能时代。

    本文从介绍人工智能及主要的思想派系,进一步系统地梳理了其发展历程、标志性成果并侧重其算法思想介绍,将这段 60余年几经沉浮的历史,以一个清晰的脉络呈现出来,以此展望人工智能(AI)未来的趋势。

    一、人工智能简介

    1.1 人工智能研究目的

    人工智能(Artificial Intelligence,AI)研究目的是通过探索智慧的实质,扩展人类智能——促使智能主体会听(语音识别、机器翻译等)、会看(图像识别、文字识别等)、会说(语音合成、人机对话等)、会思考(人机对弈、专家系统等)、会学习(知识表示,机器学习等)、会行动(机器人、自动驾驶汽车等)。一个经典的AI定义是:“ 智能主体可以理解数据及从中学习,并利用知识实现特定目标和任务的能力。(A system’s ability to correctly interpret external data, to learn from such data, and to use those learnings to achieve specific goals and tasks through flexible adaptation)”

    1.2 人工智能的学派

    在人工智能的发展过程中,不同时代、学科背景的人对于智慧的理解及其实现方法有着不同的思想主张,并由此衍生了不同的学派,影响较大的学派及其代表方法如下:

    其中,符号主义及联结主义为主要的两大派系:

    • “符号主义”(Symbolicism),又称逻辑主义、计算机学派,认为认知就是通过对有意义的表示符号进行推导计算,并将学习视为逆向演绎,主张用显式的公理和逻辑体系搭建人工智能系统。如用决策树模型输入业务特征预测天气:

    • “联结主义”(Connectionism),又叫仿生学派,笃信大脑的逆向工程,主张是利用数学模型来研究人类认知的方法,用神经元的连接机制实现人工智能。如用神经网络模型输入雷达图像数据预测天气:

    二、人工智能发展史

    从始至此,人工智能(AI)便在充满未知的道路探索,曲折起伏,我们可将这段发展历程大致划分为5个阶段期:

    • 起步发展期:1943年—20世纪60年代
    • 反思发展期:20世纪70年代
    • 应用发展期:20世纪80年代
    • 平稳发展期:20世纪90年代—2010年
    • 蓬勃发展期:2011年至今

    2.1 起步发展期:1943年—20世纪60年代

    人工智能概念的提出后,发展出了符号主义、联结主义(神经网络),相继取得了一批令人瞩目的研究成果,如机器定理证明、跳棋程序、人机对话等,掀起人工智能发展的第一个高潮。

    • 1943年,美国神经科学家麦卡洛克(Warren McCulloch)和逻辑学家皮茨(Water Pitts)提出神经元的数学模型,这是现代人工智能学科的奠基石之一。

    • 1950年,艾伦·麦席森·图灵(Alan Mathison Turing)提出“图灵测试”(测试机器是否能表现出与人无法区分的智能),让机器产生智能这一想法开始进入人们的视野。

    • 1950年,克劳德·香农(Claude Shannon)提出计算机博弈。

    • 1956年,达特茅斯学院人工智能夏季研讨会上正式使用了人工智能(artificial intelligence,AI)这一术语。这是人类历史上第一次人工智能研讨,标志着人工智能学科的诞生。

    • 1957年,弗兰克·罗森布拉特(Frank Rosenblatt)在一台IBM-704计算机上模拟实现了一种他发明的叫做“感知机”(Perceptron)的神经网络模型。


    感知机可以被视为一种最简单形式的前馈式人工神经网络,是一种二分类的线性分类判别模型,其输入为实例的特征向量想(x1,x2…),神经元的激活函数f为sign,输出为实例的类别(+1或者-1),模型的目标是要将输入实例通过超平面将正负二类分离。

    • 1958年,David Cox提出了logistic regression。

    LR是类似于感知机结构的线性分类判别模型,主要不同在于神经元的激活函数f为sigmoid,模型的目标为(最大似然)极大化正确分类概率。

    • 1959年,Arthur Samuel给机器学习了一个明确概念:Field of study that gives computers the ability to learn without being explicitly programmed.(机器学习是研究如何让计算机不需要显式的程序也可以具备学习的能力)。

    • 1961年,Leonard Merrick Uhr 和 Charles M Vossler发表了题目为A Pattern Recognition Program That Generates, Evaluates and Adjusts its Own Operators 的模式识别论文,该文章描述了一种利用机器学习或自组织过程设计的模式识别程序的尝试。

    • 1965年,古德(I. J. Good)发表了一篇对人工智能未来可能对人类构成威胁的文章,可以算“AI威胁论”的先驱。他认为机器的超级智能和无法避免的智能爆炸最终将超出人类可控范畴。后来著名科学家霍金、发明家马斯克等人对人工智能的恐怖预言跟古德半个世界前的警告遥相呼应。

    • 1966 年,麻省理工学院科学家Joseph Weizenbaum 在 ACM 上发表了题为《ELIZA-a computer program for the study of natural language communication between man and machine》文章描述了ELIZA 的程序如何使人与计算机在一定程度上进行自然语言对话成为可能,ELIZA 的实现技术是通过关键词匹配规则对输入进行分解,而后根据分解规则所对应的重组规则来生成回复。

    • 1967年,Thomas等人提出K最近邻算法(The nearest neighbor algorithm)。

    KNN的核心思想,即给定一个训练数据集,对新的输入实例Xu,在训练数据集中找到与该实例最邻近的K个实例,以这K个实例的最多数所属类别作为新实例Xu的类别。

    • 1968年,爱德华·费根鲍姆(Edward Feigenbaum)提出首个专家系统DENDRAL,并对知识库给出了初步的定义,这也孕育了后来的第二次人工智能浪潮。该系统具有非常丰富的化学知识,可根据质谱数据帮助化学家推断分子结构。

    专家系统(Expert Systems)是AI的一个重要分支,同自然语言理解,机器人学并列为AI的三大研究方向。它的定义是使用人类专家推理的计算机模型来处理现实世界中需要专家作出解释的复杂问题,并得出与专家相同的结论,可视作“知识库(knowledge base)”和“推理机(inference machine)” 的结合。

    • 1969年,“符号主义”代表人物马文·明斯基(Marvin Minsky)的著作《感知器》提出对XOR线性不可分的问题:单层感知器无法划分XOR原数据,解决这问题需要引入更高维非线性网络(MLP, 至少需要两层),但多层网络并无有效的训练算法。这些论点给神经网络研究以沉重的打击,神经网络的研究走向长达10年的低潮时期。

    2.2 反思发展期:20世纪70年代

    人工智能发展初期的突破性进展大大提升了人们对人工智能的期望,人们开始尝试更具挑战性的任务,然而计算力及理论等的匮乏使得不切实际目标的落空,人工智能的发展走入低谷。

    • 1974年,哈佛大学沃伯斯(Paul Werbos)博士论文里,首次提出了通过误差的反向传播(BP)来训练人工神经网络,但在该时期未引起重视。

    BP算法的基本思想不是(如感知器那样)用误差本身去调整权重,而是用误差的导数(梯度)调整。通过误差的梯度做反向传播,更新模型权重, 以下降学习的误差,拟合学习目标,实现’网络的万能近似功能’的过程。

    • 1975年,马文·明斯基(Marvin Minsky)在论文《知识表示的框架》(A Framework for Representing Knowledge)中提出用于人工智能中的知识表示学习框架理论。

    • 1976年,兰德尔·戴维斯(Randall Davis)构建和维护的大规模的知识库,提出使用集成的面向对象模型可以提高知识库(KB)开发、维护和使用的完整性。

    • 1976年,斯坦福大学的肖特利夫(Edward H. Shortliffe)等人完成了第一个用于血液感染病的诊断、治疗和咨询服务的医疗专家系统MYCIN。

    • 1976年,斯坦福大学的博士勒纳特发表论文《数学中发现的人工智能方法——启发式搜索》,描述了一个名为“AM”的程序,在大量启发式规则的指导下开发新概念数学,最终重新发现了数百个常见的概念和定理。

    • 1977年,海斯·罗思(Hayes. Roth)等人的基于逻辑的机器学习系统取得较大的进展,但只能学习单一概念,也未能投入实际应用。

    • 1979年,汉斯·贝利纳(Hans Berliner)打造的计算机程序战胜双陆棋世界冠军成为标志性事件。(随后,基于行为的机器人学在罗德尼·布鲁克斯和萨顿等人的推动下快速发展,成为人工智能一个重要的发展分支。格瑞·特索罗等人打造的自我学习双陆棋程序又为后来的强化学习的发展奠定了基础。)

    2.3 应用发展期:20世纪80年代

    人工智能走入应用发展的新高潮。专家系统模拟人类专家的知识和经验解决特定领域的问题,实现了人工智能从理论研究走向实际应用、从一般推理策略探讨转向运用专门知识的重大突破。而机器学习(特别是神经网络)探索不同的学习策略和各种学习方法,在大量的实际应用中也开始慢慢复苏。

    • 1980年,在美国的卡内基梅隆大学(CMU)召开了第一届机器学习国际研讨会,标志着机器学习研究已在全世界兴起。

    • 1980年,德鲁·麦狄蒙(Drew McDermott)和乔恩·多伊尔(Jon Doyle)提出非单调逻辑,以及后期的机器人系统。

    • 1980年,卡耐基梅隆大学为DEC公司开发了一个名为XCON的专家系统,每年为公司节省四千万美元,取得巨大成功。

    • 1981年,保罗(R.P.Paul)出版第一本机器人学课本,“Robot Manipulator:Mathematics,Programmings and Control”,标志着机器人学科走向成熟。

    • 1982年,马尔(David Marr)发表代表作《视觉计算理论》提出计算机视觉(Computer Vision)的概念,并构建系统的视觉理论,对认知科学(CognitiveScience)也产生了很深远的影响。

    • 1982年,约翰·霍普菲尔德(John Hopfield) 发明了霍普菲尔德网络,这是最早的RNN的雏形。霍普菲尔德神经网络模型是一种单层反馈神经网络(神经网络结构主要可分为前馈神经网络、反馈神经网络及图网络),从输出到输入有反馈连接。它的出现振奋了神经网络领域,在人工智能之机器学习、联想记忆、模式识别、优化计算、VLSI和光学设备的并行实现等方面有着广泛应用。

    • 1983年,Terrence Sejnowski, Hinton等人发明了玻尔兹曼机(Boltzmann Machines),也称为随机霍普菲尔德网络,它本质是一种无监督模型,用于对输入数据进行重构以提取数据特征做预测分析。

    • 1985年,朱迪亚·珀尔提出贝叶斯网络(Bayesian network),他以倡导人工智能的概率方法和发展贝叶斯网络而闻名,还因发展了一种基于结构模型的因果和反事实推理理论而受到赞誉。

    贝叶斯网络是一种模拟人类推理过程中因果关系的不确定性处理模型,如常见的朴素贝叶斯分类算法就是贝叶斯网络最基本的应用。
    贝叶斯网络拓朴结构是一个有向无环图(DAG),通过把某个研究系统中涉及的随机变量,根据是否条件独立绘制在一个有向图中,以描述随机变量之间的条件依赖,用圈表示随机变量(random variables),用箭头表示条件依赖(conditional dependencies)就形成了贝叶斯网络。
    对于任意的随机变量,其联合概率可由各自的局部条件概率分布相乘而得出。如图中b依赖于a(即:a->b),c依赖于a和b,a独立无依赖,根据贝叶斯定理有 P(a,b,c) = P(a)*P(b|a)*P(c|a,b)

    • 1986年,罗德尼·布鲁克斯(Brooks)发表论文《移动机器人鲁棒分层控制系统》,标志着基于行为的机器人学科的创立,机器人学界开始把注意力投向实际工程主题。

    • 1986年,辛顿(Geoffrey Hinton)等人先后提出了多层感知器(MLP)与反向传播(BP)训练相结合的理念(该方法在当时计算力上还是有很多挑战,基本上都是和链式求导的梯度算法相关的),这也解决了单层感知器不能做非线性分类的问题,开启了神经网络新一轮的高潮。

    • 1986年,昆兰(Ross Quinlan)提出ID3决策树算法。

    决策树模型可视为多个规则(if, then)的组合,与神经网络黑盒模型截然不同是,它拥有良好的模型解释性。
    ID3算法核心的思想是通过自顶向下的贪心策略构建决策树:根据信息增益来选择特征进行划分(信息增益的含义是 引入属性A的信息后,数据D的不确定性减少程度。也就是信息增益越大,区分D的能力就越强),依次递归地构建决策树。

    • 1989年,George Cybenko证明了“万能近似定理”(universal approximation theorem)。简单来说,多层前馈网络可以近似任意函数,其表达力和图灵机等价。这就从根本上消除了Minsky对神经网络表达力的质疑。

    “万能近似定理”可视为神经网络的基本理论:⼀个前馈神经⽹络如果具有线性层和⾄少⼀层具有 “挤压” 性质的激活函数(如 sigmoid 等),给定⽹络⾜够数量的隐藏单元,它可以以任意精度来近似任何从⼀个有限维空间到另⼀个有限维空间的 borel 可测函数。

    • 1989年,LeCun (CNN之父) 结合反向传播算法与权值共享的卷积神经层发明了卷积神经网络(Convolutional Neural Network,CNN),并首次将卷积神经网络成功应用到美国邮局的手写字符识别系统中。

    卷积神经网络通常由输入层、卷积层、池化(Pooling)层和全连接层组成。卷积层负责提取图像中的局部特征,池化层用来大幅降低参数量级(降维),全连接层类似传统神经网络的部分,用来输出想要的结果。

    2.4 平稳发展期:20世纪90年代—2010年

    由于互联网技术的迅速发展,加速了人工智能的创新研究,促使人工智能技术进一步走向实用化,人工智能相关的各个领域都取得长足进步。在2000年代初,由于专家系统的项目都需要编码太多的显式规则,这降低了效率并增加了成本,人工智能研究的重心从基于知识系统转向了机器学习方向。

    • 1995年,Cortes和Vapnik提出联结主义经典的支持向量机(Support Vector Machine),它在解决小样本、非线性及高维模式识别中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中。

    支持向量机(Support Vector Machine, SVM)可以视为在感知机基础上的改进,是建立在统计学习理论的VC维理论和结构风险最小原理基础上的广义线性分类器。与感知机主要差异在于:1、感知机目标是找到一个超平面将各样本尽可能分离正确(有无数个),SVM目标是找到一个超平面不仅将各样本尽可能分离正确,还要使各样本离超平面距离最远(只有一个最大边距超平面),SVM的泛化能力更强。2、对于线性不可分的问题,不同于感知机的增加非线性隐藏层,SVM利用核函数,本质上都是实现特征空间非线性变换,使可以被线性分类。

    • 1995年, Freund和schapire提出了 AdaBoost (Adaptive Boosting)算法。AdaBoost采用的是Boosting集成学习方法——串行组合弱学习器以达到更好的泛化性能。另外一种重要集成方法是以随机森林为代表的Bagging并行组合的方式。以“偏差-方差分解”分析,Boosting方法主要优化偏差,Bagging主要优化方差。

    Adaboost迭代算法基本思想主要是通过调节的每一轮各训练样本的权重(错误分类的样本权重更高),串行训练出不同分类器。最终以各分类器的准确率作为其组合的权重,一起加权组合成强分类器。

    • 1997年国际商业机器公司(简称IBM)深蓝超级计算机战胜了国际象棋世界冠军卡斯帕罗夫。深蓝是基于暴力穷举实现国际象棋领域的智能,通过生成所有可能的走法,然后执行尽可能深的搜索,并不断对局面进行评估,尝试找出最佳走法。

    • 1997年,Sepp Hochreiter 和 Jürgen Schmidhuber提出了长短期记忆神经网络(LSTM)。

    LSTM是一种复杂结构的循环神经网络(RNN),结构上引入了遗忘门、输入门及输出门:输入门决定当前时刻网络的输入数据有多少需要保存到单元状态,遗忘门决定上一时刻的单元状态有多少需要保留到当前时刻,输出门控制当前单元状态有多少需要输出到当前的输出值。这样的结构设计可以解决长序列训练过程中的梯度消失问题。

    • 1998年,万维网联盟的蒂姆·伯纳斯·李(Tim Berners-Lee)提出语义网(Semantic Web)的概念。其核心思想是:通过给万维网上的文档(如HTML)添加能够被计算机所理解的语义(Meta data),从而使整个互联网成为一个基于语义链接的通用信息交换媒介。换言之,就是构建一个能够实现人与电脑无障碍沟通的智能网络。

    • 2001年,John Lafferty首次提出条件随机场模型(Conditional random field,CRF)。
      CRF是基于贝叶斯理论框架的判别式概率图模型,在给定条件随机场P ( Y ∣ X ) 和输入序列x,求条件概率最大的输出序列y *。在许多自然语言处理任务中比如分词、命名实体识别等表现尤为出色。

    • 2001年,布雷曼博士提出随机森林(Random Forest)。
      随机森林是将多个有差异的弱学习器(决策树)Bagging并行组合,通过建立多个的拟合较好且有差异模型去组合决策,以优化泛化性能的一种集成学习方法。多样差异性可减少对某些特征噪声的依赖,降低方差(过拟合),组合决策可消除些学习器间的偏差。

    随机森林算法的基本思路是对于每一弱学习器(决策树)有放回的抽样构造其训练集,并随机抽取其可用特征子集,即以训练样本及特征空间的多样性训练出N个不同的弱学习器,最终结合N个弱学习器的预测(类别或者回归预测数值),取最多数类别或平均值作为最终结果。

    • 2003年,David Blei, Andrew Ng和 Michael I. Jordan于2003年提出LDA(Latent Dirichlet Allocation)。

    LDA是一种无监督方法,用来推测文档的主题分布,将文档集中每篇文档的主题以概率分布的形式给出,可以根据主题分布进行主题聚类或文本分类。

    • 2003年,Google公布了3篇大数据奠基性论文,为大数据存储及分布式处理的核心问题提供了思路:非结构化文件分布式存储(GFS)、分布式计算(MapReduce)及结构化数据存储(BigTable),并奠定了现代大数据技术的理论基础。

    • 2005 年,波士顿动力公司推出一款动力平衡四足机器狗,有较强的通用性,可适应较复杂的地形。

    • 2006年,杰弗里·辛顿以及他的学生鲁斯兰·萨拉赫丁诺夫正式提出了深度学习的概念(Deeping Learning),开启了深度学习在学术界和工业界的浪潮。2006年也被称为深度学习元年,杰弗里·辛顿也因此被称为深度学习之父。

    深度学习的概念源于人工神经网络的研究,它的本质是使用多个隐藏层网络结构,通过大量的向量计算,学习数据内在信息的高阶表示。

    • 2010年,Sinno Jialin Pan和 Qiang Yang发表文章《迁移学习的调查》。

    迁移学习(transfer learning)通俗来讲,就是运用已有的知识(如训练好的网络权重)来学习新的知识以适应特定目标任务,核心是找到已有知识和新知识之间的相似性。

    2.5 蓬勃发展期:2011年至今

    随着大数据、云计算、互联网、物联网等信息技术的发展,泛在感知数据和图形处理器等计算平台推动以深度神经网络为代表的人工智能技术飞速发展,大幅跨越了科学与应用之间的技术鸿沟,诸如图像分类、语音识别、知识问答、人机对弈、无人驾驶等人工智能技术实现了重大的技术突破,迎来爆发式增长的新高潮。

    • 2011年,IBM Watson问答机器人参与Jeopardy回答测验比赛最终赢得了冠军。Waston是一个集自然语言处理、知识表示、自动推理及机器学习等技术实现的电脑问答(Q&A)系统。

    • 2012年,Hinton和他的学生Alex Krizhevsky设计的AlexNet神经网络模型在ImageNet竞赛大获全胜,这是史上第一次有模型在 ImageNet 数据集表现如此出色,并引爆了神经网络的研究热情。

    AlexNet是一个经典的CNN模型,在数据、算法及算力层面均有较大改进,创新地应用了Data Augmentation、ReLU、Dropout和LRN等方法,并使用GPU加速网络训练。

    • 2012年,谷歌正式发布谷歌知识图谱Google Knowledge Graph),它是Google的一个从多种信息来源汇集的知识库,通过Knowledge Graph来在普通的字串搜索上叠一层相互之间的关系,协助使用者更快找到所需的资料的同时,也可以知识为基础的搜索更近一步,以提高Google搜索的质量。

    知识图谱是结构化的语义知识库,是符号主义思想的代表方法,用于以符号形式描述物理世界中的概念及其相互关系。其通用的组成单位是RDF三元组(实体-关系-实体),实体间通过关系相互联结,构成网状的知识结构。

    • 2013年,Durk Kingma和Max Welling在ICLR上以文章《Auto-Encoding Variational Bayes》提出变分自编码器(Variational Auto-Encoder,VAE)。

    VAE基本思路是将真实样本通过编码器网络变换成一个理想的数据分布,然后把数据分布再传递给解码器网络,构造出生成样本,模型训练学习的过程是使生成样本与真实样本足够接近。

    • 2013年,Google的Tomas Mikolov 在《Efficient Estimation of Word Representation in Vector Space》提出经典的 Word2Vec模型用来学习单词分布式表示,因其简单高效引起了工业界和学术界极大的关注。

    Word2Vec基本的思想是学习每个单词与邻近词的关系,从而将单词表示成低维稠密向量。通过这样的分布式表示可以学习到单词的语义信息,直观来看,语义相似的单词的距离相近。

    Word2Vec网络结构是一个浅层神经网络(输入层-线性全连接隐藏层->输出层),按训练学习方式可分为CBOW模型(以一个词语作为输入,来预测它的邻近词)或Skip-gram模型 (以一个词语的邻近词作为输入,来预测这个词语)。

    • 2014年,聊天程序“尤金·古斯特曼”(Eugene Goostman)在英国皇家学会举行的“2014图灵测试”大会上,首次“通过”了图灵测试。

    • 2014年,Goodfellow及Bengio等人提出生成对抗网络(Generative Adversarial Network,GAN),被誉为近年来最酷炫的神经网络。

    GAN是基于强化学习(RL)思路设计的,由生成网络(Generator, G)和判别网络(Discriminator, D)两部分组成, 生成网络构成一个映射函数G: Z→X(输入噪声z, 输出生成的伪造数据x), 判别网络判别输入是来自真实数据还是生成网络生成的数据。在这样训练的博弈过程中,提高两个模型的生成能力和判别能力。

    • 2015年,为纪念人工智能概念提出60周年,深度学习三巨头LeCun、Bengio和Hinton(他们于2018年共同获得了图灵奖)推出了深度学习的联合综述《Deep learning》。

    《Deep learning》文中指出深度学习就是一种特征学习方法,把原始数据通过一些简单的但是非线性的模型转变成为更高层次及抽象的表达,能够强化输入数据的区分能力。通过足够多的转换的组合,非常复杂的函数也可以被学习。

    • 2015年,Microsoft Research的Kaiming He等人提出的残差网络(ResNet)在ImageNet大规模视觉识别竞赛中获得了图像分类和物体识别的优胜。

    残差网络的主要贡献是发现了网络不恒等变换导致的“退化现象(Degradation)”,并针对退化现象引入了 “快捷连接(Shortcut connection)”,缓解了在深度神经网络中增加深度带来的梯度消失问题。

    • 2015年,谷歌开源TensorFlow框架。它是一个基于数据流编程(dataflow programming)的符号数学系统,被广泛应用于各类机器学习(machine learning)算法的编程实现,其前身是谷歌的神经网络算法库DistBelief。

    • 2015年,马斯克等人共同创建OpenAI。它是一个非营利的研究组织,使命是确保通用人工智能 (即一种高度自主且在大多数具有经济价值的工作上超越人类的系统)将为全人类带来福祉。其发布热门产品的如:OpenAI Gym,GPT等。

    • 2016年,谷歌提出联邦学习方法,它在多个持有本地数据样本的分散式边缘设备或服务器上训练算法,而不交换其数据样本。

    联邦学习保护隐私方面最重要的三大技术分别是: 差分隐私 ( Differential Privacy )、同态加密 ( Homomorphic Encryption )和 隐私保护集合交集 ( Private Set Intersection ),能够使多个参与者在不共享数据的情况下建立一个共同的、强大的机器学习模型,从而解决数据隐私、数据安全、数据访问权限和异构数据的访问等关键问题。

    • 2016年,AlphaGo与围棋世界冠军、职业九段棋手李世石进行围棋人机大战,以4比1的总比分获胜。

    AlphaGo是一款围棋人工智能程序,其主要工作原理是“深度学习”,由以下四个主要部分组成:策略网络(Policy Network)给定当前局面,预测并采样下一步的走棋;快速走子(Fast rollout)目标和策略网络一样,但在适当牺牲走棋质量的条件下,速度要比策略网络快1000倍;价值网络(Value Network)估算当前局面的胜率;蒙特卡洛树搜索(Monte Carlo Tree Search)树搜索估算每一种走法的胜率。
    在2017年更新的AlphaGo Zero,在此前的版本的基础上,结合了强化学习进行了自我训练。它在下棋和游戏前完全不知道游戏规则,完全是通过自己的试验和摸索,洞悉棋局和游戏的规则,形成自己的决策。随着自我博弈的增加,神经网络逐渐调整,提升下法胜率。更为厉害的是,随着训练的深入,AlphaGo Zero还独立发现了游戏规则,并走出了新策略,为围棋这项古老游戏带来了新的见解。

    • 2017年,中国香港的汉森机器人技术公司(Hanson Robotics)开发的类人机器人索菲亚,是历史上首个获得公民身份的一台机器人。索菲亚看起来就像人类女性,拥有橡胶皮肤,能够表现出超过62种自然的面部表情。其“大脑”中的算法能够理解语言、识别面部,并与人进行互动。

    • 2018年,Google提出论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》并发布Bert(Bidirectional Encoder Representation from Transformers)模型,成功在 11 项 NLP 任务中取得 state of the art 的结果。

    BERT是一个预训练的语言表征模型,可在海量的语料上用无监督学习方法学习单词的动态特征表示。它基于Transformer注意力机制的模型,对比RNN可以更加高效、能捕捉更长距离的依赖信息,且不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练,而是采用新的masked language model(MLM),以致能生成深度的双向语言表征。

    • 2019年, IBM宣布推出Q System One,它是世界上第一个专为科学和商业用途设计的集成通用近似量子计算系统。

    • 2019年,香港 Insilico Medicine 公司和多伦多大学的研究团队实现了重大实验突破,通过深度学习和生成模型相关的技术发现了几种候选药物,证明了 AI 发现分子策略的有效性,很大程度解决了传统新药开发在分子鉴定困难且耗时的问题。

    • 2020年,Google与Facebook分别提出SimCLR与MoCo两个无监督学习算法,均能够在无标注数据上学习图像数据表征。两个算法背后的框架都是对比学习(contrastive learning),对比学习的核心训练信号是图片的“可区分性”。

    • 2020年,OpenAI开发的文字生成 (text generation) 人工智能GPT-3,它具有1,750亿个参数的自然语言深度学习模型,比以前的版本GPT-2高100倍,该模型经过了将近0.5万亿个单词的预训练,可以在多个NLP任务(答题、翻译、写文章)基准上达到最先进的性能。

    • 2020年,马斯克的脑机接口(brain–computer interface, BCI)公司Neuralink举行现场直播,展示了植入Neuralink设备的实验猪的脑部活动。

    • 2020年,谷歌旗下DeepMind的AlphaFold2人工智能系统有力地解决了蛋白质结构预测的里程碑式问题。它在国际蛋白质结构预测竞赛(CASP)上击败了其余的参会选手,精确预测了蛋白质的三维结构,准确性可与冷冻电子显微镜(cryo-EM)、核磁共振或 X 射线晶体学等实验技术相媲美。

    • 2020年,中国科学技术大学潘建伟等人成功构建76个光子的量子计算原型机“九章”,求解数学算法“高斯玻色取样”只需200秒,而目前世界最快的超级计算机要用6亿年。

    • 2021年,OpenAI提出两个连接文本与图像的神经网络:DALL·E 和 CLIP。DALL·E 可以基于文本直接生成图像,CLIP 则能够完成图像与文本类别的匹配。

    • 2021年,德国Eleuther人工智能公司于今年3月下旬推出开源的文本AI模型GPT-Neo。对比GPT-3的差异在于它是开源免费的。

    • 2021年,美国斯坦福大学的研究人员开发出一种用于打字的脑机接口(brain–computer interface, BCI),这套系统可以从运动皮层的神经活动中解码瘫痪患者想象中的手写动作,并利用递归神经网络(RNN)解码方法将这些手写动作实时转换为文本。相关研究结果发表在2021年5月13日的Nature期刊上,论文标题为“High-performance brain-to-text communication via handwriting”。

    三、AI 未来趋势

    人工智能有三个要素:数据、算力及算法,数据即是知识原料,算力及算法提供“计算智能”以学习知识并实现特定目标。

    人工智能60多年的技术发展,可以归根为算法、算力及数据层面的发展,那么在可以预见的未来,人工智能发展将会出现怎样的趋势呢?

    3.1 数据层面

    数据是现实世界映射构建虚拟世界的基本要素,随着数据量以指数形式增长,开拓的虚拟世界的疆土也不断扩张。不同于AI算法开源,关键数据往往是不开放的,数据隐私化、私域化是一种趋势,数据之于AI应用,如同流量是互联网的护城河,有核心数据才有关键的AI能力。

    3.2 算力层面

    推理就是计算(reason is nothing but reckoning) --托马斯.霍布斯

    计算是AI的关键,自2010年代以来的深度学习浪潮,很大程度上归功于计算能力的进步。

    • 量子计算发展

    在计算芯片按摩尔定律发展越发失效的今天,计算能力进步的放慢会限制未来的AI技,量子计算提供了一条新量级的增强计算能力的思路。随着量子计算机的量子比特数量以指数形式增长,而它的计算能力是量子比特数量的指数级,这个增长速度将远远大于数据量的增长,为数据爆发时代的人工智能带来了强大的硬件基础。

    • 边缘计算发展

    边缘计算作为云计算的一种补充和优化,一部分的人工智能正在加快速度从云端走向边缘,进入到越来越小的物联网设备中。而这些物联网设备往往体积很小,为此轻量机器学习(TinyML)受到青睐,以满足功耗、延时以及精度等问题。

    • 类脑计算发展

    以类脑计算芯片为核心的各种类脑计算系统,在处理某些智能问题以及低功耗智能计算方面正逐步展露出优势。类脑计算芯片设计将从现有处理器的设计方法论及其发展历史中汲取灵感,在计算完备性理论基础上结合应用需求实现完备的硬件功能。同时类脑计算基础软件将整合已有类脑计算编程语言与框架,实现类脑计算系统从“专用”向“通用”的逐步演进。

    • 人工智能计算中心成为智能化时代的关键基础设施

    人工智能计算中心基于最新人工智能理论,采用领先的人工智能计算架构,是融合公共算力服务、数据开放共享、智能生态建设、产业创新聚集的“四位一体”综合平台,可提供算力、数据和算法等人工智能全栈能力,是人工智能快速发展和应用所依托的新型算力基础设施。未来,随着智能化社会的不断发展,人工智能计算中心将成为关键的信息基础设施,推动数字经济与传统产业深度融合,加速产业转型升级,促进经济高质量发展。

    3.3 算法层面

    • 机器学习自动化(AutoML)发展

    自动化机器学习(AutoML)解决的核心问题是:在给定数据集上使用哪种机器学习算法、是否以及如何预处理其特征以及如何设置所有超参数。随着机器学习在许多应用领域取得了长足的进步,这促成了对机器学习系统的不断增长的需求,并希望机器学习应用可以自动化构建并使用。借助AutoMl、MLOps技术,将大大减少机器学习人工训练及部署过程,技术人员可以专注于核心解决方案。

    • 向分布式隐私保护方向演进

    当前全球多个国家和地区已出台数据监管法规,如HIPAA(美国健康保险便利和责任法案)、GDPR(欧盟通用数据保护条例)等,通过严格的法规限制多机构间隐私数据的交互。分布式隐私保护机器学习(联邦学习)通过加密、分布式存储等方式保护机器学习模型训练的输入数据,是打破数据孤岛、完成多机构联合训练建模的可行方案。

    • 数据和机理融合

    AI模型的发展是符合简单而美的定律的。从数据出发的建模从数据中总结规律,追求在实践中的应用效果。从机理出发的建模以基本物理规律为出发点进行演绎,追求简洁与美的表达。

    一个好的、主流的的模型,通常是高度总结了数据规律并切合机理的,是“优雅”的,因为它触及了问题的本质。就和科学理论一样,往往简洁的,没有太多补丁,而这同时解决了收敛速度问题和泛化问题。

    • 神经网络模型结构发展

    神经网络的演进一直沿着模块化+层次化的方向,不断把多个承担相对简单任务的模块组合起来。

    神经网络结构通过较低层级模块侦测基本的特征,并在较高层级侦测更高阶的特征,无论是多层前馈网络,还是卷积神经网络,都体现了这种模块性(近年Hinton提出的“胶囊”(capsule)网络就是进一步模块化发展)。因为我们处理的问题(图像、语音、文字)往往都有天然的模块性,学习网络的模块性若匹配了问题本身内在的模块性,就能取得较好的效果。

    层次化并不仅仅是网络的拓扑叠加,更重要的是学习算法的升级,仅仅简单地加深层次可能会导致BP网络的梯度消失等问题。

    • 多学派方法融合发展

    通过多学派方法交融发展,得以互补算法之间的优势和弱点。如 1)贝叶斯派与神经网络融合,Neil Lawrence组的Deep Gaussian process, 用简单的概率分布替换神经网络层。2)符号主义、集成学习与神经网络的融合,周志华老师的深度随机森林。3) 符号主义与神经网络的融合:将知识库(KG)融入进神经网络,如GNN、知识图谱表示学习。4) 神经网络与强化学习的融合,如谷歌基于DNN+强化学习实现的Alpha Go 让AI的复杂任务表现逼近人类。

    • 基于大规模无(自)监督预训练发展

    If intelligence is a cake, the bulk of the cake is unsupervised learning, the icing on the cake is supervised learning, and the cherry on the cake is reinforcement learning (RL) – Yann Lecun

    监督学习需要足够的带标签数据,然而人工标注大量数据既耗时又费力,在一些领域(如医学领域)上几乎不太可能获得足量的标注数据。通过大规模无(自)监督预训练方法利用现实中大量的无标签数据是一个研究的热点,如GPT-3的出现激发了对大规模自监督预训练方法继续开展探索和研究。未来,基于大规模图像、语音、视频等多模态数据的跨语言的自监督预训练模型将进一步发展,并不断提升模型的认知、推理能力。

    • 基于因果学习方法发展

    当前人工智能模型大多关注于数据特征间相关性,而相关性与更为本源的因果关系并不等价,可能导致预测结果的偏差,对抗攻击的能力不佳,且模型往往缺乏可解释性。另外,模型需要独立同分布(i.i.d.)假设(现实很多情况,i.i.d.的假设是不成立的),若测试数据与训练数据来自不同的分布,统计学习模型往往效果不佳,而因果推断所研究的正是这样的情形:如何学习一个可以在不同分布下工作、蕴含因果机制的因果模型(Causal Model),并使用因果模型进行干预或反事实推断。

    • 可解释性AI (XAI)发展

    可解释的人工智能有可能成为未来机器学习的核心,随着模型变得越来越复杂,确定简单的、可解释的规则就会变得越来越困难。一个可以解释的AI(Explainable AI, 简称XAI)意味着AI运作的透明,便于人类对于对AI监督及接纳,以保证算法的公平性、安全性及隐私性。

    后记

    随着数据、算力及算法取得不断的突破,人工智能可能进入一个永恒的春天。
    本文主要从技术角度看待AI趋势是比较片面的,虽然技术是“高大上”的第一生产力,有着自身的发展规律,但不可忽视的是技术是为需求市场所服务的。技术结合稳定的市场需求,才是技术发展的实际导向。


    文章首发于“算法进阶”,公众号阅读原文可访问Github博客

    展开全文
  • 人工智能发展历史概述

    万次阅读 多人点赞 2019-07-15 16:16:31
    人工智能发展道路上的大事记 ----------------详细版 从20世纪50年代开始,许多...

                              人工智能发展道路上的大事记

                                                                                                                          ----------------详细版

          从20世纪50年代开始,许多科学家,程序员,逻辑学家和理论家帮助和巩固了当代人对人工智能思想的整体理解。随着每一个新的十年,创新和发现改变了人们对人工智能领域的基本知识,以及不断的历史进步推动着人工智能从一个无法实现的幻想到当代和后代切实可以实现的现实。

                                    

    人工智能在20世纪50年代

    1950年: Alan Turing发表了“计算机器和智能”,提出了模仿游戏的想法 - 一个考虑机器是否可以思考的问题。这一建议后来成为的 图灵测试,其测量机(人工)智能。图灵的发展测试了机器的思考能力。图灵测试成为人工智能哲学的重要组成部分,人工智能在机器中讨论智能,意识和能力。

                                                      

    1952年:计算机科学家亚瑟·塞缪尔(Arthur Samuel)开发了一种跳棋计算机程序 - 第一个独立学习如何玩游戏的人。

    1955年:约翰麦卡锡和一群人创建了一个关于“人工智能”研讨会的提案。1956年,当研讨会举行时,这个词的正式诞生归功于麦卡锡。

    1955年: Allen Newell(研究员),Herbert Simon(经济学家)和Cliff Shaw(程序员)共同撰写了第一个人工智能计算机程序逻辑理论家。

    1958年: McCarthy开发了Lisp,这是人工智能研究中最受欢迎且最受青睐的编程语言。

    1959年:塞缪尔在谈到编程计算机以比编写程序的人更好地进行国际象棋游戏时创造了“机器学习”一词。

    人工智能在20世纪60年代

    人工智能领域的创新在20世纪60年代迅速发展。新的编程语言,机器人和自动机,研究以及描绘人工智能生物的电影的出现越来越受欢迎。这极大地突出了人工智能在20世纪下半叶的重要性。

    1961年: 乔治·德沃尔(George Devol)在20世纪50年代发明的工业机器人Unimate成为第一个在新泽西州通用汽车装配线上工作的机器人。它的职责包括从装配线运输压铸件并将零件焊接到汽车上 - 这一任务对人类来说是危险的。

    1961年:计算机科学家兼教授James Slagle开发了SAINT(符号自动INTegrator),这是一个启发式问题解决方案,其重点是新生微积分中的符号整合。

                                                       

    1964年:计算机科学家Daniel Bobrow创建了STUDENT,一个用Lisp编写的早期AI程序,解决了代数词问题。学生被认为是人工智能自然语言处理的早期里程碑。

    1965年:计算机科学家兼教授Joseph Weizenbaum开发了ELIZA,这是一个交互式计算机程序,可以用英语在功能上与英语交谈。Weizenbaum的目标是证明人工智能思维与人类思维之间的沟通是“肤浅的”,但发现许多人将拟人化特征归因于伊丽莎。

                                                            

    1966年:由Charles Rosen在其他11人的帮助下开发的机器人Shakey是第一个通用移动机器人,也被称为“第一个电子人”。

                                                               

    1968年:由Stanley Kubrick执导的科幻电影2001:A Space Odyssey发行。它具有HAL(启发式编程的算法计算机),一个有感知的计算机。HAL控制航天器的系统并与船员交互,与他们交谈,好像HAL是人,直到故障以负面方式改变HAL的相互作用。

    1968年:计算机科学教授Terry Winograd创建了早期自然语言计算机程序SHRDLU。

    人工智能在20世纪70年代

    与20世纪60年代一样,20世纪70年代让位于加速发展,尤其是机器人和机器人。然而,20世纪70年代的人工智能面临着诸多挑战,例如政府对人工智能研究的支持减少。

    1970年: WABOT-1,第一个拟人机器人,在日本早稻田大学建造。它的功能包括可移动的肢体,能够看到和交谈的能力。

                                                                       

    1973年:应用数学家詹姆斯·莱特希尔向英国科学理事会报告了人工智能研究的状况,他说:“迄今为止,该领域的任何一部分都没有发现产生的重大影响,这将导致大幅减少”通过英国政府支持人工智能研究。

    1977年:导演乔治卢卡斯的电影“星球大战”发行。这部电影采用了C-3PO,这是一个人形机器人,被设计为协议机器人,“能够流畅地播放超过七百万种通信形式。”作为C-3PO的伴侣,这部电影还采用了R2-D2--一个小型的, astromech droid,无法进行人类言语(C-3PO的逆转); 相反,R2-D2与电子蜂鸣声通信。其功能包括小型维修和副驾驶星际战斗机。

    1979年:斯坦福推车,一个遥控,配备电视的移动机器人,由当时的机械工程研究生詹姆斯·L·亚当斯于1961年创建。1979年,一个“滑块”或机械旋转,将电视摄像机从侧面移开 -当时的博士生汉斯莫拉维克补充道。在大约五个小时内,购物车成功地越过了一个没有人为干扰的充满椅子的房间,使其成为最早的自动驾驶汽车的例子之一。

                                                         

    AI在20世纪80年代

    人工智能的快速增长一直持续到20世纪80年代。尽管人工智能背后的进步和兴奋,谨慎包围了不可避免的“人工智能冬季”,这是一个资金减少和人工智能兴趣的时期。

    1980年: WABOT-2在早稻田大学建成。WABOT的这一开始允许人形机器人与人交流以及阅读乐谱并在电子琴上播放音乐。

                                                                            

    1981年:日本国际贸易和工业部为第五代计算机项目拨款8.5亿美元,该项目的目标是开发可以交谈,翻译语言,解释图片和表达人性化推理的计算机。

    1984年:由史蒂夫巴伦执导的电影“电影梦”发行。情节围绕着男人,女人和名为“埃德加”的有感知的个人电脑之间的三角恋。

    1984年:在人工智能促进协会(AAAI)上,Roger Schank(AI理论家)和Marvin Minsky(认知科学家)警告人工智能冬季,人工智能研究的兴趣和资金将首先减少。他们的警告在三年内实现了。

    1986年:梅赛德斯 - 奔驰在Ernst Dickmanns的指导下建造并发布了一辆配备摄像头和传感器的无人驾驶厢式货车。它能够在没有其他障碍物和人类驾驶员的道路上行驶高达55英里/小时。

    1988年:计算机科学家和哲学家Judea Pearl发表了“智能系统中的概率推理”.Pearl还发明了贝叶斯网络,这是一种“概率图形模型”,通过有向无环图(DAG)表示变量及其依赖关系。

    1988年:两位聊天机器人Jabberwacky和Cleverbot(20世纪90年代发布)的程序员和发明者Rollo Carpenter开发了Jabberwacky,以“以有趣,有趣和幽默的方式模拟自然人类聊天”。这是通过聊天机器人与人沟通的AI示例。

    AI在20世纪90年代

    千禧年即将结束,但这种预期只会助长人工智能在其持续的增长阶段。

    1995年:计算机科学家理查德华莱士开发了聊天机器人ALICE(人工语言互联网计算机实体),灵感来自Weizenbaum的ELIZA。ALICE与ELIZA的区别在于增加了自然语言样本数据收集。

                                                      

    1997年:计算机科学家Sepp Hochreiter和JürgenSchmidhuber开发了长短期记忆(LSTM),这是一种用于手写和语音识别的递归神经网络(RNN)架构。

                                                    

    1997年:由IBM开发的国际象棋电脑Deep Blue成为第一个赢得国际象棋比赛并与卫冕世界冠军相匹敌的系统。

    1998年: Dave Hampton和Caleb Chung发明了Furby,这是第一款儿童玩具机器人。

    1999年:与Furby一致,索尼推出了AIBO(人工智能RoBOt),这是一种价值2000美元的机器人宠物狗,通过与环境,所有者和其他AIBO的互动来“学习”。其功能包括能够理解和响应100多个语音命令并与其人类所有者进行通信。

    人工智能从2000年到2010年

    新的千禧年正在进行中 - 在Y2K的恐惧消亡之后 - 大赦继续向上发展。正如预期的那样,创造了更多的人工智能生物以及关于人工智能概念的创意媒体(特别是电影)以及它可能会走向何方。

    2000: Y2K问题,也称为2000年问题,是一类与2000年1月1日开始的电子日历数据的格式化和存储相关的计算机错误。鉴于所有的互联网软件和程序都是在20世纪初创建的,一些系统很难适应2000年(及以后)的新年格式。以前,这些自动化系统只需要改变一年中的最后两位数字; 现在,所有四位数字都必须切换 - 对技术和使用它的人来说是一个挑战。

                                                       

    2000年: Cynthia Breazeal教授开发了Kismet,一种能够识别和模拟情绪的机器人。它的结构像人脸,眼睛,嘴唇,眼睑和眉毛。

    2000年:本田发布了ASIMO,一种人工智能的人形机器人。

    2001年:由史蒂文斯皮尔伯格执导的科幻电影AI人工智能发布。这部电影是在一个充满未来主义的反乌托邦社会中进行的,并追随大卫,这是一个先进的人形儿童,具有拟人化的感受,包括爱的能力。

    2002年: i-Robot发布了Roomba,一种自动机器人真空吸尘器,可在避开障碍物的同时进行清洁。

    2004年: NASA的机器人探索漫游者精神和机遇在没有人为干预的情况下导航火星的表面。

    2004年:由Alex Proyas执导的科幻电影I,Robot发行。设置在2035年,人形机器人为人类服务,而一个人则是强烈反机器人,因为个人悲剧的结果(由机器人决定)。

    2006年: Oren Etzioni(计算机科学教授),Michele Banko和Michael Cafarella(计算机科学家)创造了“机器阅读”这一术语,将其定义为对文本的无监督自主理解。

    2007年:计算机科学教授Fei Fei Li及其同事组建了ImageNet,这是一个注释图像数据库,其目的是帮助进行物体识别软件研究。

    2009年:谷歌秘密开发了一款无人驾驶汽车。到2014年,它通过了内华达州的自驾车测试。

    AI 2010至今

    目前的十年对人工智能创新非常重要。从2010年开始,人工智能已经融入我们的日常生活中。我们使用具有语音助理的智能手机和具有“智能”功能的计算机,我们大多数人都认为这是理所当然的。人工智能不再是一个白日梦,并且已经有一段时间了。

    2010年: ImageNet推出了他们年度AI对象识别竞赛的ImageNet大规模视觉识别挑战赛(ILSVRC)。

    2010年:微软推出了Kinect for Xbox 360,这是第一款使用3D摄像头和红外探测跟踪人体运动的游戏设备。

    2011年: Watson,一个回答IBM创建的计算机的自然语言问题,击败了两个前Jeopardy!冠军,肯詹宁斯和布拉德鲁特,在电视游戏中。

                                       

    2011年: Apple发布了Siri,Apple iOS操作系统的虚拟助手。Siri使用自然语言用户界面来向其人类用户推断,观察,回答和推荐事物。它适应语音命令,并为每个用户投射“个性化体验”。

    2012年: Jeff Dean和Andrew Ng(谷歌研究人员)通过向YouTube视频展示1000万张未标记图像,培训了一个拥有16,000个处理器的大型神经网络来识别猫的图像(尽管没有提供背景信息)。

    2013年:来自卡内基梅隆大学的研究团队发布了Never Ending Image Learner(NEIL),这是一种可以比较和分析图像关系的语义机器学习系统。

    2014年:微软发布了Cortana,他们的版本是类似于iOS上的Siri的虚拟助手。

    2014年:亚马逊创建了亚马逊Alexa,一个家庭助理,发展成智能扬声器,作为个人助理。

    2015年: Elon Musk,Stephen Hawking和Steve Wozniak等3,000人签署了一封公开信,禁止开发和使用自主武器(用于战争目的)。

    2015-2017:谷歌DeepMind的AlphaGo,一个玩棋盘游戏Go的计算机程序,击败了各种(人类)冠军。

                                             

    2016年:一个名为Sophia的人形机器人由Hanson Robotics创建。她被称为第一个“机器人公民”.Sophia与以前的类人生物的区别在于她与真实的人类相似,能够看到(图像识别),做出面部表情,并通过人工智能进行交流。

    2016年: Google发布了Google Home,这是一款智能扬声器,使用人工智能充当“个人助理”,帮助用户记住任务,创建约会,并通过语音搜索信息。

    2017年: Facebook人工智能研究实验室培训了两个“对话代理”(聊天机器人),以便相互沟通,以学习如何进行谈判。然而,随着聊天机器人的交谈,他们偏离了人类语言(用英语编程)并发明了自己的语言来相互交流 - 在很大程度上展示了人工智能。

    2018年:阿里巴巴(中国科技集团)语言处理AI在斯坦福大学的阅读和理解测试中超越了人类的智慧。阿里巴巴的语言处理在一组10万个问题中得分为“82.44,对82.30” - 这是一次狭隘的失败,但仍然是失败。

    2018年:谷歌开发了BERT,这是第一个“双向,无监督的语言表示,可以使用转移学习在各种自然语言任务中使用。”

    2018年:三星推出虚拟助手Bixby。Bixby的功能包括语音,用户可以在这里与他们交谈并提出问题,建议和建议; 视觉,Bixby的“ 视觉 ”能力内置于相机应用程序中,可以看到用户看到的内容(即对象识别,搜索,购买,翻译,地标识别); 和Home,Bixby使用基于应用程序的信息来帮助用户使用和交互(例如天气和健身应用程序)。

                                                                  

    人工智能在2019年及以后会有什么期待?

    人工智能的发展正以前所未有的速度发展。话虽如此,我们可以预期,过去十年的趋势将在未来一年继续上升。2019年我们要关注的一些事项包括:

    聊天机器人 +虚拟助手:加强聊天机器人和虚拟助手自动化,提高用户体验

    自然语言处理(NLP):增加人工智能应用的NLP能力,包括(尤其是)聊天机器人和虚拟助手

    机器学习和自动机器学习: ML将转向AutoML算法,以允许开发人员和程序员在不创建特定模型的情况下解决问题

    自动驾驶汽车:尽管围绕各种故障的自动驾驶汽车存在一些不好的压力,但可以安全地假设将自动化将产品从A点驱动到B点到1的过程自动化。节省人力成本,2通过自动驾驶车辆优化购买 - 运输 - 到达消费者的过程 - 实质上 - 不会在车轮后面疲劳

    展开全文
  • 嵌入式与人工智能关系_嵌入式人工智能发展趋势

    万次阅读 多人点赞 2019-04-09 17:00:43
    嵌入式与人工智能关系_嵌入式人工智能发展趋势  所谓嵌入式人工智能,就是设备无须联网通过云端数据中心进行大规模计算去实现人工智能,而是在本地计算,在不联网的情况下就可以做实时的环境感知、人机交互、...

    嵌入式与人工智能关系_嵌入式人工智能的发展趋势

     

      所谓嵌入式人工智能,就是设备无须联网通过云端数据中心进行大规模计算去实现人工智能,而是在本地计算,在不联网的情况下就可以做实时的环境感知、人机交互、决策控制。那么嵌入式与人工智能关系是什么?嵌入式人工智能的发展趋势你知道吗?本文主要详细嵌入式与人工智能,具体的跟随小编一起来了解一下。

      嵌入式与人工智能关系

      人工智能不可能没有嵌入式,人工智能的领域庞大涵盖学科众多,应用范围也很多。人工智能与嵌入式系统的关系,可用苏轼《题西林壁》的诗句来形容,即“横看成岭侧成峰,远近高低各不同。不识庐山真面目,只缘身在此山中”。长期以来,形形色色的人工智能就在我的周围,我们却视而不见。可以说嵌入式开启了人工智能的进程,人工智能的终极目的是实现人类智力的替代,人的智力有“思维”和“行为”两种方式,思维是大脑独立的思考,行为是个体与客观世界的交互。

      现在的人工智能大多属于前者,siri、阿尔法狗都是典型代表。要实现人工智能的行为,必须使用嵌入式系统,这就是现在所说的强人工智能与弱人工智能。具有行为能力的“弱人工智能”就是智能化工具,即MCU基础上的嵌入式应用系统,已有40多年历史。可以骄傲地说,单片机、嵌入式系统开启了人工智能的历史进程,我们所做的一切都是人工智能的那些事儿。人工智能是基础的技术资源,它有着改变人们的思维与生活方式、变革社会的巨大潜力。从更大的格局看,万物智联时代正在到来,未来将从“以设备为中心”进步为“以用户为中心”、“以数据为中心”。

      业界普遍认为人工智能的三个发展阶段包括感知智能、认知智能和通用人工智能(AGI)。感知指语音、语言、图像、手势等;认知指理解、记忆、知识、推理、规划、决策、创造等;通用人工智能指类似人类的思维。其中,感知是人机交互中最重要的一环,为人工智能提供数据基础。这三个阶段需要循序渐进。目前阶段,人工智能的目标并不是让机器模拟人的全部行为,而是在某些特定领域超过人类专家的水平、有能力高效地解决专业问题,从而对人类提供实用的服务。

      小编觉得在人工智能时代,强大的算法也不会拘泥于PC机实现,需要落地的话,就要依赖嵌入式承载。嵌入式在智能手机上的应用已经足以证明,未来出现的机器人一定会使用嵌入式的技术,所以说对于嵌入式系统的需求已经非常迫切,期待能够出现颠覆智能手机的嵌入式便携移动终端。

      嵌入式与人工智能关系_嵌入式人工智能的发展趋势

      嵌入式系统开启人工智能的历史进程

      人工智能与嵌入式系统的关系,可用苏轼《题西林壁》的诗句来形容,即“横看成岭侧成峰,远近高低各不同。不识庐山真面目,只缘身在此山中”。长期以来,形形色色的人工智能就在我的周围,我们却视而不见。为什么会出现这种现象?则要从两个领域的人工智能说起。

      所说的人工智能,就是以人工方式实现人类智力的替代。人类智力有“思维”与“行为”两种方式。“思维”是大脑的独立思考,“行为”是人类个体与客观世界的交互状态,除了思考还要有对外部世界的感知与控制。AlphaGo属于前者,它与李世石、柯洁对决,还要有代理人将它的思维能力转化成对决的下棋行为。实现人工智能的行为方式,则非嵌入式系统莫属。对此,人工智能领域人士,普遍将这两种人工智能定义成“强人工智能”与“弱人工智能”。

      AlphaGo之父哈萨比斯在剑桥大学演讲中则用“通用人工智能”与“狭义人工智能”来区分。总之,所有专家都认可具有行为能力的“弱人工智能”。

      具有行为能力的“弱人工智能”就是智能化工具,即MCU基础上的嵌入式应用系统,已有40多年历史。无怪乎约翰•麦卡锡这位50年代提出人工智能概念的学者,感叹于我们日常生活中每天都在使用人工智能,抱怨于“一旦一样东西用人工智能实现了,人们就不再叫它人工智能了”。

      可以骄傲地说,单片机、嵌入式系统开启了人工智能的历史进程,我们所做的一切都是人工智能的那些事儿。

      嵌入式与人工智能关系_嵌入式人工智能的发展趋势

      嵌入式人工智能的的发展趋势

      1、嵌入式人工智能于各行业垂直领域应用具有巨大的潜力

      嵌入式人工智能市场在零售、交通运输和自动化、制造业及农业等各行业垂直领域具有巨大的潜力。而驱动市场的主要因素,是嵌入式人工智能技术在各种终端用户垂直领域的应用数量不断增加,尤其是改善对终端消费者服务。当然嵌入式人工智能市场要起来也受到IT基础设施完善、智能手机及智能穿戴式设备的普及。其中,以自然语言处理(NLP)应用市场占嵌入式人工智能市场很大部分。随着自然语言处理的技术不断精进而驱动消费者服务的成长,还有:汽车信息通讯娱乐系统、嵌入式人工智能机器人及支持嵌入式人工智能的智能手机等领域。

      2、嵌入式人工智能导入医疗保健行业维持高速成长

      由于医疗保健行业大量使用大数据及嵌入式人工智能,进而精准改善疾病诊断、医疗人员与患者之间人力的不平衡、降低医疗成本、促进跨行业合作关系。此外嵌入式人工智能还广泛应用于临床试验、大型医疗计划、医疗咨询与宣传推广和销售开发。嵌入式人工智能导入医疗保健行业从2016年到2022年维持很高成长,预计从2016年的6.671亿美元达到2022年的79.888亿美元年均复合增长率为52.68%。

      3、嵌入式人工智能取代屏幕成为新UI / UX接口

      过去从PC到手机时代以来,用户接口都是透过屏幕或键盘来互动。随着智能喇叭(Smart Speaker)、虚拟/增强现实(VR/AR)与自动驾驶车系统陆续进入人类生活环境,加速在不需要屏幕的情况下,人们也能够很轻松自在与运算系统沟通。这表示着嵌入式人工智能透过自然语言处理与机器学习让技术变得更为直观,也变得较易操控,未来将可以取代屏幕在用户接口与用户体验的地位。嵌入式人工智能除了在企业后端扮演重要角色外,在技术接口也可承担更复杂角色。例如:使用视觉图形的自动驾驶车,透过人工神经网络以实现实时翻译,也就是说,嵌入式人工智能让接口变得更为简单且更有智能,也因此设定了未来互动的高标准模式。

      嵌入式与人工智能关系_嵌入式人工智能的发展趋势

      4、未来手机芯片一定内建嵌入式人工智能运算核心

      现阶段主流的ARM架构处理器速度不够快,若要进行大量的图像运算仍嫌不足,所以未来的手机芯片一定会内建嵌入式人工智能运算核心。正如,苹果将3D感测技术带入iPhone之后,Android阵营智能手机将在明年(2017)跟进导入3D感测相关应用。

      5、嵌入式人工智能芯片关键在于成功整合软硬件

      嵌入式人工智能芯片的核心是半导体及算法。嵌入式人工智能硬件主要是要求更快指令周期与低功耗,包括GPU、DSP、ASIC、FPGA和神经元芯片,且须与深度学习算法相结合,而成功相结合的关键在于先进的封装技术。总体来说GPU比FPGA快,而在功率效能方面FPGA比GPU好,所以嵌入式人工智能硬件选择就看产品供货商的需求考虑而定。例如,苹果的Face ID脸部辨识就是3D深度感测芯片加上神经引擎运算功能,整合高达8个组件进行分析,分别是红外线镜头、泛光感应组件、距离传感器、环境光传感器、前端相机、点阵投影器、喇叭与麦克风。苹果强调用户的生物识别数据,包含:指纹或脸部辨识都以加密形式储存在iPhone内部,所以不易被窃取。

      6、嵌入式人工智能自主学习是终极目标

      嵌入式人工智能“大脑”变聪明是分阶段进行,从机器学习进化到深度学习,再进化至自主学习。目前,仍处于机器学习及深度学习的阶段,若要达到自主学习需要解决四大关键问题。首先,是为自主机器打造一个嵌入式人工智能平台;还要提供一个能够让自主机器进行自主学习的虚拟环境,必须符合物理法则,碰撞,压力,效果都要与现实世界一样;然后再将嵌入式人工智能的“大脑”放到自主机器的框架中;最后建立虚拟世界入口(VR)。目前,NVIDIA推出自主机器处理器Xavier,就在为自主机器的商用和普及做准备工作。

      7、最完美的架构是把CPU和GPU(或其他处理器)结合起来

      未来,还会推出许多专门的领域所需的超强性能的处理器,但是CPU是通用于各种设备,什么场景都可以适用。所以,最完美的架构是把CPU和GPU(或其他处理器)结合起来。例如,NVIDIA推出CUDA计算架构,将专用功能ASIC与通用编程模型相结合,使开发人员实现多种算法。

      8、AR成为嵌入式人工智能的眼睛,两者是互补、不可或缺

      未来的嵌入式人工智能需要AR,未来的AR也需要嵌入式人工智能,可以将AR比喻成嵌入式人工智能的眼睛。为了机器人学习而创造的在虚拟世界,本身就是虚拟现实。还有,如果要让人进入到虚拟环境去对机器人进行训练,还需要更多其它的技术。展望未来,随着嵌入式人工智能、物联网、VR/AR、5G等技术成熟,将带动新一波半导体产业的30年荣景,包括:内存、中央处理器、通讯与传感器四大芯片,各种新产品应用芯片需求不断增加,以中国在半导体的庞大市场优势将会在全球扮演关键的角色

    展开全文
  • 集合了国内多家领先研究团队的智慧,分别从人工智能的科技产出与投入、产业发展和市场应用、发展战略和政策环境,以及社会认知和综合影响等四个方面,综合展现中国乃至全球人工智能发展现状与趋势,以达到提升公众...
  • 人工智能定义和发展简史

    千次阅读 2021-04-18 23:04:47
    人工智能对应的英文术语为“Artificial Intelligence”(简称AI),有时也被称为“Machine Intelligence”。作为计算机学科的一门分支,以及上世纪70年代以来的世界三大顶尖技术之一,AI虽然已经走过了几十年的历史,...

    以下文章摘录自:

    《机器学习观止——核心原理与实践》

    京东: https://item.jd.com/13166960.html

    当当:http://product.dangdang.com/29218274.html

    (由于博客系统问题,部分公式和图片有可能显示有问题)

     

      1. 人工智能的定义

    人工智能对应的英文术语为“Artificial Intelligence”(简称AI),有时也被称为“Machine Intelligence”。作为计算机学科的一门分支,以及上世纪70年代以来的世界三大顶尖技术之一,AI虽然已经走过了几十年的历史,但业界似乎还没有对它形成统一的定义。不过,这种“分歧”不但没有阻碍AI的蓬勃发展,反而“有助于”它的“野蛮生长”。

    对此Stanford大学曾在一份报告中指出:

    (参见https://ai100.stanford.edu/2016-report/section-i-what-artificial-intelligence/defining-ai)

    “Curiously, the lack of a precise, universally accepted definition of AI probably has helped the field to grow, blossom, and advance at an ever-accelerating pace. Practitioners, researchers, and developers of AI are instead guided by a rough sense of direction and an imperative to ‘get on with it.’ ”

    就如莎士比亚所说的,“一千个观众眼中有一千个哈姆雷特”一样,我们倒是可以借鉴一下计算机界先驱们心中的AI定义(从AI学科的角度)是什么样的。

    比如:

    1. AI定义1

    业界普遍认为,人工智能学科起源于1956年在Dartmouth College举办的一场workshop。当时出席的专家包括Allen Newell (CMU), Herbert Simon (CMU), John McCarthy (MIT), Marvin Minsky (MIT) and Arthur Samuel (IBM)等人。其中John McCarthy(因为在计算机及人工智能领域的突出贡献,于1971年获得了计算机最高奖——图灵奖)对人工智能的定义是:

    “The science and engineering of making intelligent machines.”

    1. AI定义2

    Stanford大学研究所人工智能中心主任Nils J. Nilsson对人工智能的定义是:

    “Artificial intelligence is that activity devoted to making machines intelligent, and intelligence is that quality that enables an entity to function appropriately and with foresight in its environment.”

    1. AI定义3

    另一位来自于MIT的人工智能科学家,Patrick Henry Winston(http://people.csail.mit.edu/phw/index.html)对人工智能的理解是“研究如何使计算机去做过去只有人才能做到的智能工作”

     

    从上面3种人工智能定义中,我们不难发现大家对于AI的理解可以分为两部分来阐述:

    1. 人工(Artificial)

    这一点和人类与生俱来的智能是相对的,即AI是由人工通过计算机程序等手段创造出来的一种技术

    1. 智能(Intelligence)

    智能是什么?这个问题可以说直到目前为止,在整个AI领域都还存在比较大的分歧。因为人类对于“智能的本质是什么,智能是如何构成的”等基础问题一直都是“一知半解”,所以自然无法准确定义智能是什么了。

     

    我们通常认为,“intelligence”至少会涉及到意识、自我、心灵等问题,因而是超越技术本身的一个概念。如果从人工智能学科目前的几大发展方向来看,那么AI在实现“智能”的路上,大致存在以下一些需要研究的领域:

    (1) 决策推理(reasoning)

    (2) 知识表示(Knowledge representation)

    (3) 学习能力(Learning)

    (4) 规划能力(Planning)

    (5) 自然语言处理(Natural Language Processing)

    (6) 感知(Perception)

    (7) 运动控制(Motion and Manipulation)

    (8) 通用智能(General intelligence)

    等等

     

    具体到人工智能的研究方法上,自然更是“百花齐放”了——而且在不同历史时期,一些流派会呈现出“各领风骚数百年”的现象。目前业界普遍认为AI可以划分为符号主义、连接主义和行为主义等几大流派,我们将在后面小节做详细讲解。

      1. 人工智能发展简史

    人工智能并不是一个新概念,它的发展可以算得上是“由来已久”了。如果按照AI的数次“高潮”与“低谷”作为界线,那么我们可以将它划分为6-8个阶段。需要特别指出的是,这些阶段的准确起始时间点业界还没有形成统一的认识,所以下面向大家阐述的只是业界认可度较高的其中一种划分方式:

    1. “AI史前文明”:1956年之前
    2. 第一次黄金时期:1956年-1974年
    3. 第一次AI寒冬:1974年-1980年
    4. 第二次黄金时期:1980年-1987年
    5. 第二次AI寒冬:1987年-1993年
    6. 第三次崛起:1993年-2011年
    7. 持续繁荣:2011年-至今

     

    如下所示的是AI的历史发展趋势简图:

     

    1956

    1970

    1980

    1990

    2011

    Year

     

    图 1‑1 人工智能发展热度趋势简图

     

    限于篇幅,接下来我们只能围绕上述8个阶段做精要讲解。

        1. 史前文明,曙光初现(1956年前)

    如果抛开“计算机范畴”这个限制,那么人工智能的历史绝对可以说是“源远流长”的。譬如古希腊神话中就有关于人造人的记载:Hephaestus是一位集砌石、雕刻、铁匠等艺术为一身的奥林匹斯十二主神之一,他制作的工艺品无人能敌。其中就包括了一组金制的女机器人,她们既可以在铁匠铺完成高难度工作,同时还可以和人类开口交流——这些机器人无疑已经具备了高度的“人工智能”了。

    又如希腊神话中描绘了一位名为Pygmalion的雕刻家,他爱上了自己的一尊雕塑作品Galatea,并每天对着她说话。他的这种“痴情”最终感动了爱神Aphrodite,于是这位女神给雕塑赋予了生命——然后像很多童话故事中的结尾一样,pygmalion和他的雕塑变成的美女结婚了(注:由此还引申出了“Pygmalion effect”,指的是人在被赋予很高的期望后,往往会表现得更好的一种现象)。

    图 1‑2 人们根据pygmalion和galetea的故事创作的绘画作品

     

    另外,人们针对“人造智慧”这一题材创作的小说也很多。例如科幻小说之母Mary Shelley(1797-1851年)在《Frankenstein》中描述了“一位青年科学家frankenstein创造了一个奇丑无比的怪物,但是它并不服从主人,反而接连杀害他的亲人,最终导致frankenstein忧愤而死的”故事。可以肯定的是,作者在两百年前所描绘的这个具有生命意识的怪物,直到目前为止我们还是没有办法真正实现出来。

    除了文学作品外,人类也在实践中探索着制造“类人”物体的可行性,例如古代社会里的很多“能工巧匠”们所制作的各式各样的“人偶”。《列子.汤问》中就记载了一位名为偃师的工匠,他以制造能歌善舞的人偶而著称于世(据称这也是我们可以追溯到的,中国最早出现的“机器人”),如下所示的是其中的一些节选片段:

    “周穆王西巡狩,越昆仑,不至弇山。反还,未及中国,道有献工人名偃师。穆王荐之,问曰:“若有何能?”偃师曰:“臣唯命所试。然臣已有所造,愿王先观之。”穆王曰:“日以俱来,吾与若俱观之。”翌日偃师谒见王。王荐之,曰:“若与偕来者何人邪?”对曰:“臣之所造能倡者。”穆王惊视之,趋步俯仰,信人也。巧夫!领其颅,则歌合律;捧其手,则舞应节。千变万化,惟意所适。王以为实人也,与盛姬内御并观之。技将终,倡者瞬其目而招王之左右侍妾。王大怒,立欲诛偃师。偃师大慑,立剖散倡者以示王,皆傅会革、木、胶、漆、白、黑、丹、青之所为。王谛料之,内则肝胆、心肺、脾肾、肠胃,外则筋骨、支节、皮毛、齿发,皆假物也,而无不毕具者。合会复如初见。王试废其心,则口不能言;废其肝,则目不能视;废其肾,则足不能步。穆王始悦而叹曰:“人之巧乃可与造化者同功乎?…”

    图 1‑3 偃师和人偶(图片来源于网络)

     

    而在电子计算机问世之前,很多名家学者们也尝试过以机械化的手段来“复现”人类的思考过程,从而达到“人造的智能”。中国、印度等多个国家的哲学家们都在公元前就提出了各自的形式推理(formal reasoning)理论——例如亚里士多德的三段论逻辑;欧几里得的几何原本等等。可以看到,这些学者们似乎都在试图从数学、逻辑推理等基础学科的角度来分析出人类智慧的本质。这种依托于科学推理的研究方法,无疑对后来计算机AI的发展产生了较为深远的影响。

    图 1‑4 基于charles babbage的设计实现的机器

     

    伴随着计算设备(特别是电子计算机)的不断改良,人们借助这些新型的“武器”也做了不少探索。比如Charles Babbage在19世纪初设计了一款可能会有无限潜能的可编程计算设备(不过很遗憾他自己最终没有让这一设计真正落地实现)。

    步入上世纪50年代后,距离人工智能学科成立的脚步越来越近了——这段时间内,数学、心理学、神经学、工程学等多个学科都发生了不少足以载入史册的关键事件。AI在当时已经是“山雨欲来风满楼”了:

    (1) 早期的人工神经网络

    事实上神经网络的出现甚至比人工智能学科还要早,只不过前期受限于很多因素它并没有能够取得很大的应用成果。人们普遍认为Walter Pitts和Warren McCulloch是最早描述人工神经网络理论的学者,他们分析了理想状态下的人工神经元以及它们可以完成的一些简单的逻辑功能。其后1951年左右他们的学生Minsky(麻省理工学院人工智能实验室的创始人之一,因其在人工智能方面的突出贡献,于1969年获得了图灵奖)在此基础上,构造出人类历史上的第一台神经网络机器SNARC。

    图 1‑5 神经网络机器SNARC

     

    (2) 神经病理学(neurology)

    人类社会很多划时代的科技创新,都是在向大自然学习和观察的过程中提炼出来的,比如飞机、潜艇等等。因而人们在研究AI时,自然不会放过“智能”的天然来源——也就是人类自身的大脑和神经系统了。在人工智能学科创立的前几年,神经病理学有了一个重大的发现,即人类大脑是由神经元组成的,它存在“激活状态”(只存在“有”和“无”两种可能性)。结合图灵的计算理论,人们逐渐对如何“仿造”人类大脑有了一些模糊的认知。

    图 1‑6 神经元经典结构(参考wikipedia)

     

    (3) 图灵测试

    诞生于1950年的图灵测试无疑是这一阶段最重要的AI“催化剂”之一(图灵本人被称为“人工智能之父”。另外,他和冯诺依曼还被并称为“计算机之父”。我们这里不去细究他们究竟谁“贡献大一些”的问题)。

    图灵测试是在什么历史背景下产生的,又或者说,它在解决一个什么样的问题呢?

    图灵测试是图灵在university of Manchester工作时,于1950年的一篇名为《Computing Machinery and Intelligence》中给出的一项提议。他最初的目的似乎是想解决“机器能不能思考”这个问题——由于直接回答这一问题太难了,于是他就想到了另外一个对等的问题,即大家现在所熟知的图灵测试了:

    图 1‑7 图灵测试示意图

     

    它涉及到3个角色:

    1. interrogator
    2. computer
    3. human

     

    首先,这三个角色是不能直接接触的,它们只通过一些受限的手段进行交流(比如计算机键盘和屏幕)。其次,interrogator可以和其它两个角色开展受限的交流——如果他无法准确区分computer和human的真实身份,那么我们就说这台机器通过了图灵测试。

    值得一提的是,在最初的图灵测试中,interrogator和其它角色是不能有物理上的互动和接触的,这其实在一定程度上降低了测试的难度。后来人们逐渐不满足于普通的图灵测试了,于是他们加入了部分物理上的交互要求,使得受试者不得不另外具备计算机视觉、自动化控制甚至“人类仿真皮肤/外表”等高阶能力——我们称这种类型的测试为“完全图灵测试“。

    (4) 游戏AI上的突破

    在人工智能的发展历史中,似乎总是和游戏(象棋、围棋、跳棋、Atari等)有着某种“千丝万缕”的联系。我们觉得这主要是以下几个方面的原因:

    1. 一方面,人类认为游戏是一种需要“高级智力”才能参与的活动,因而对于人工智能而言无疑是很有挑战的
    2. 另一方面,很多游戏都可以提供不错的仿真环境,帮助人们快速的迭代优化和验证人工智能理论

     

    图 1‑8 游戏和AI是两个“好兄弟”

     

    例如在上世纪50年代的初期,Manchester大学的Christopher Strachey和Dietrich Prinz分别在Ferranti Mark1机器上写出了第一个西洋跳棋和国际象棋程序。随着人工智能技术的不断演进,人类在各种游戏(主要是棋类游戏)上也可以说是“捷报频传”。特别是前两年DeepMind公司开发的AlphaGo与人类世界冠军的几次对决,彻底点燃了人工智能爆发的“导火索”,意义非凡。

        1. 初出茅庐,一战成名(1956年-1974年)

    业界普遍认为,人工智能学科起源于1956年在Dartmouth大学召开的一个大会,出席会议的不少人后来都成为了人工智能方面的大牛,比如:

    1. Dr. Claude Shannon(香农是信息论的创始人,相信大家都不会陌生)
    2. Dr. Marvin Minsky
    3. Dr. Julian Bigelow
    4. Professor D.M. Mackay
    5. Mr. Ray Solomonoff
    6. Mr. John Holland
    7. Mr. John McCarthy.

    等等

     

    会议召开的一个背景是:当时的学者们对于如何研究“会思考的机器”有各自的理解,对这种“机器”的命名也是五花八门,例如cybernetics、automata theory等等。有鉴于此,John McCarthy在1955年开始筹划组织一次研讨会,以便大家可以互通有无——“Artificial Intelligence”这个词就是他为这个新领域所取的名字。而且这个名字应该是在次年的Dartmouth大会正式开始之前就已经在圈内获得了一定的认可了。这一点从他和Marvin Minsky等人所发出的会议提案中可以得到论证:

    图 1‑9 Dartmouth AI研讨会(1956年)提案节选

    http://raysolomonoff.com/dartmouth/boxa/dart564props.pdf

     

    可以看到,1955年9月2号多人联名发出的提案中已经使用了“artificial intelligence”这个词。其后这个名字又在dartmouth研讨会上取得了与会人员的一致认同,于是一直沿用至今。1956年的dartmouth大会的研讨内容可以说影响了AI后来几十年的发展,核心议题包括:

    1. computers
    2. natural language processing
    3. neural networks
    4. theory of computation
    5. abstraction and creativity

    等等

     

    从1956年开始直到人工智能的第一次寒冬,有关AI的各种学术研究成果如“雨后春笋”般涌现了出来。其中John McCarthy仍然是发挥关键作用的学者之一,他从dartmouth大学转到MIT后(1958年)陆续做出了多项令人瞩目的贡献,例如:

    1. 定义了高级语言LISP

    LISP是人类历史上第二个高级语言(FORTRAN比它早一年)——如果从人工智能研究的角度来看它则是最早的一种语言(当然,LISP实际上是一种通用语言,只是在当时的环境下被主要用于人工智能领域罢了)。

    同时LISP还是第一个函数式程序语言,所以它和C等命令型语言以及java等面向对象语言在设计理念上会有些差异。

    下面是使用LISP语言编写的一个factorial函数,大家可以感受一下:

    (defun factorial (n)
       (if (= n 0) 1
           (* n (factorial (- n 1)))))

     

    1. 发明了garbage collection和time sharing等技术

    不得不承认,大牛的人生道路上(注:计算机大牛的经历总是惊人的相似,例如另一位图灵奖获得者Donald Ervin Knuth在写作《The Art of Computer Programming》时因为认为计算机排版软件效果太差,破坏了其著作的美感,居然辍笔数年创造出了划时代的字体设计系统METAFONT以及排版系统TEX等)的随便一个缩影都有可能让普通人“望尘莫及”,比如McCarthy为了解决LISP语言的问题而发明了“垃圾回收”机制;而为了解决计算机的效率问题(以便更好的研究AI),他还在1961年提出了“分时复用”的概念。这些基础技术为后来编程语言和计算机理论的发展起到了不小的促进作用。

    1. 创作第一个AI程序

    1958年,McCarthy在他的一篇论文《Programs with Common Sense》中提出了一个名为“advice taker”的计算机程序。他是人类历史上第一个提出通过逻辑推理来做知识表示的学者,对其后的问题系统和逻辑编程产生了很大的影响

    另外,1966年McCarthy以及他在stanford大学的团队还设计出了一个可以用于玩多种chess游戏的计算机程序。

     

    除了McCarthy之外,其他多位学者也在人工智能方面取得了突破性的研究成果。比如MIT AI实验室的Marvin Minsky和Seymour Papert等人提出了通过“Micro worlds”来开展AI研究工作。他们认为一个复杂的学科往往可以使用简化模型来帮助理解基本原则,其中应用最广泛的就是“blocks world”:

    图 1‑10 blocks worlds

     

    当时人们普遍对AI充满了信心,甚至有学者乐观地认为人类只需要在较短的时间内就可以彻底解决人工智能所遇到的问题。下图中部所示的就是部分专家在当时的环境下,针对AI所给出的预判:

    图 1‑11 AI第一次浪潮中,人们普遍都抱乐观态度

     

    由于人们的乐观态度,再加上AI学术界的蓬勃发展,当时人工智能项目的预算可以说是非常充足的。例如MIT仅在1963年一年间就收到了DARPA超过200万美金的AI项目资助,这在当时无疑是一笔巨款。

        1. 寒风凛冽,首次入冬(1974年-1980年)

    所谓“希望越大,失望也越大”,AI在第一次浪潮中的表现始终是“雷声大雨点小”。过度的收益承诺却始终无法兑现,让人们的耐心一点点地被消耗殆尽——于是在经历了将近20年的繁荣后,人工智能于上世纪70年代初逐步进入了第一次低谷。

    小结一下,AI首次入冬的时代背景大概是:

    1. AI没有产生有用的价值

    当时AI所能做的事情都是极其受限的,比如无法准确分辨出哪怕是诸如椅子这样的常见物体,仅能识别为数不多的几个词汇等等。换句话说,人工智能在当时只不过是用来尝鲜的玩具,除此之外似乎毫无价值

    1. 经济不景气

    我们可以看到,第一次AI寒冬前后的经济环境相对比较恶劣,在这种情况下人们首先考虑的当然是如何活下去的问题

     

    图 1‑12 Lighthill report节选

     

    在这样的历史条件下,各个国家纷纷表达了对AI领域的悲观态度。最终,1973年的一份非常著名的“Lighthill report”(即“Artificial Intelligence: A General Survey”)成为了“压死骆驼的最后一根稻草”(英国)。这份报告是由一位名为James Lighthill的应用数学家主导的,起初发表在《Artificial Intelligence: a paper symposium》上面。“Lighthill report”严厉地批评了AI并没有如承诺的那样体现出任何有用的价值,并对它的多个领域表达了非常失望的态度。英国政府随后就停止了对Edinburgh, Sussex和Essex三所大学的AI项目资助。同年,美国国家科学委员会在给AI赞助了近二千万美金后因为看不到希望也中止了资助。

    到了1974年,AI项目已经完全成了资本的弃儿。而随着AI项目资金链的中断,本身没有造血能力的AI研究自然而然就在寒冬中被“冻死”了。

        1. 卷土重来,威震八方(1980年-1987年)

    这种情况一直持续到6年后,也就是1980年才有所好转。那么当时发生了一些什么关键事件使得人工智能又重新进入了人们的视野呢?

    1. 专家系统得到大家的赏识

    专家系统(Expert system)如其名所述,主要是采用知识表示和知识推理的方式来让计算机程序具备人类的知识和经验,从而达到解决复杂问题的目的。

    所以专家系统一般是由两部分关键元素组成,即:

    knowledge base + inference engine

    其中knowledge用于承载人类的知识、经验等,inference engine则通过应用各种逻辑规则来做推理。

    图 1‑13 早期的专家系统

     

    当然,专家系统并不是这个阶段才出现的。它最早是由Edward Feigenbaum(专家系统之父,1994年图灵奖获得者)提出来的,并很快成为了人工智能领域的其中一个分支(后续小节我们还有更详细的讲解)。只不过直到上世纪80年代初,专家系统才开始取得了一些关键进展,而且这些进步还逐步体现在了实实在在的商业落地上——据当时的统计报告显示,有将近三分之二的财富500强公司都运用到了专家系统技术或者其延伸产品。换句话说,人工智能正在逐步完善自己的“造血能力”。从历史规律来看,这一点无疑是一项新兴技术能否可持续发展的关键所在。

    值得一提的是,当时第一个被大规模使用的专家系统是SID(Synthesis of Integral Design)。它是在1982年左右被开发出来的,而且使用的编程语言就是我们前面介绍的LISP。

    图 1‑14 专家系统

     

    据说当年还由此催生了一批“知识工程师”,他们的主要工作就是和各种各样的专家交流,研究后者是如何思考和解决问题的,然后再“填空”到专家系统中。对于简单的问题,这或许是一条可行之路。但现实情况是,很多专家解决问题的过程本身就依赖于“直觉”。换句话说连他们自己都无法准确描述出问题的思考和解决过程,更何况还要把这些过程逻辑化。不过当时专家系统正处于如日中天的时期,这些显而易见的问题似乎很轻易地就被人们忽视了,这或许也为后面的AI再次寒冬埋下了伏笔

    1. 连接主义重获新生

    连接主义在第一轮AI浪潮中,由于无法给出令人信服的理论基础而被人们所遗弃。不过从80年代初开始,以神经网络为代表的连接主义又重获新生了,这主要归功于以下两个因素:

    • 因素1:Hopfield net

    1982年,John Hopfield证明了神经网络是有能力来做更深层次的学习和处理工作的,人们称之为Hopfield net。简单来讲,它是一种结合了存储系统和二元系统的神经网络,如下简图所示:

    图 1‑15 hopfield net结构

     

    • 因素2:backpropagation在神经网络中的应用

    与此同时,Geoffrey Hinton(深度学习三驾马车之一)等人提出了直到现在我们都在使用的神经网络训练方法——backpropagation,从而有效解决了神经网络无法优化训练的问题。

     

    在多重因素的刺激之下,人工智能在沉寂了若干年之后,于上世纪80年代初又步入了人们的视野。全球多个国家又陆续在AI领域投入重金,比如日本的国际通商产业部(Ministry of International Trade and Industry)在1981年斥资8.5亿美金巨款,来支持其第五代计算机项目的研发。这个项目的目标是制造出可以翻译语言、与人对话、具备推理能力的机器。美国包括DARPA等在内的多个组织也纷纷慷慨解囊,使得AI项目的投资金额成倍增长。

    人工智能的第二春,就这样悄然来临了。

        1. 失望弥漫,再度入冬(1987年-1993年)

    在人工智能的“第二春”如火如荼之时,实际上就已经有人预测出它将会再度进入寒冷的冬季了——果不其然,仅7年后的1987年,AI就迎来了自己人生的第二个“大坎”。

    和首次入冬类似,人们主要还是因为看不到希望而对AI再次“判处了死刑”。当时的几个背景事件包括:

    1. Lisp machines产业崩塌

    Lisp machines是一种通用型的计算机,它以Lisp为主要的编程语言和软件(需要硬件上的支持)。而到了80年代,Apple和IBM等公司生产的桌面型计算机在性能和价格上都占据了绝对优势,因而前者逐步退出了人们的选购清单中了

    图 1‑16 上世纪80年代的Apple Macintosh计算机

     

    1. 专家系统“难以为继”

    前面我们所讲的专家系统,在此时也暴露出了很多问题——比如很难维护,经常出现各种奇奇怪怪的问题,而且价格高昂等等。

    当时有一个很有名的项目叫做Cyc(来源于encyclopedia),它是由Stanford大学教授Douglas Lenat在1984年设立,并由Cycorp公司开发维护的一个AI项目。Cyc致力于将各个领域的本体和常识集成在一起,并以此为基础来实现知识推理,以达到人工智能的目的。

    Cyc还发明了一种专有的基于一阶关系的知识表示语言CycL,用于表示人类的各种常识——例如“每棵树都是植物”、“植物都会死亡”等描述语句(语法上与LISP类似)。Lenat曾预测可能需要至少构建25万条规则,才能支撑Cyc系统的成功。不难理解这种人工构建的规则既费时费力,有时候还“事倍功半”。据悉Cyc就曾在一个故事中闹出过笑话:这个故事是说一个名为Fred的人正拿着一个电动剃须刀,因为在Cyc的知识库里“人体的构成是不包含电气零件的”,因而它推断出正在刮胡子的Fred已经不是人了。

    在人类认为很好理解的不少场景下,专家系统却总是表现得让人“啼笑皆非”,久而久之自然就沦落成大家“茶余饭后”的谈资了。

    1. 日本第五代计算机工程宣告失败

    日本在上世纪80年代左右经济形式还是不错的,因而愿意投入巨资来研究有潜力的方向。然而若干年过去后,在当年定下的计划目标始终“遥遥无期”的情况下,日本政府开始大幅缩减AI预算也就是情理之中的事了

    1. 统计学方法开始大行其道

    这个时期其实除了统计学外,还有一股力量是不容忽视的,那就是这几年才大红大紫的神经网络。不过神经网络能够发挥威力的一些前置条件(数据,算力)那时候还没有得到满足,所以当时不管从哪个角度来看,它在80年代都没有比统计学方法来得更为优秀——后者既简单实用,而且消耗的资源还少。因而神经网络在当时自然没有掀起多大的风浪

     

    据说那时候流行一个“月亮梯子”的笑话,专门用来描述人工智能的处境——即人工智能总是把目标设定为“登月”,但最后造出来的却多半只是一把“梯子”,让人贻笑大方。

    一言以蔽之,AI又一次进入了寒冬。

        1. 重出江湖,渐入佳境(1993年-至今)

    人类对于人工智能一直以来都有一种“执念”,因而即便是在它的两次寒冬期间,依然有人“孜孜不倦,十年如一日”地潜心做着研究——比如后面我们会讲到的深度学习“三驾马车”便是如此了(据说这也是他们获得图灵奖的原因之一)。

    或许也正是因为这种“执念”,大概从上世纪90年代初开始人工智能又开始时不是地出现在人们的视野中了。比如:

    1. 1997年,深蓝战胜国际象棋世界冠军Garry Kasparov

    这是人工智能历史上的一个里程碑,深蓝因此成为世界上首个打败人类顶尖国际象棋棋手的计算机系统

    1. 1998年,LeNet成功商用

    LeNet当时被美国银行和邮政系统所接纳,用来识别支票、邮政编码中的的手写或机打数字,也算是为神经网络的“可商用化”提供了有力证明(虽然当时的神经网络还比较简单)

    图 1‑17 LeNet网络结构

     

    1. 新的研究方法的出现

    人类逐渐意识到,专家系统虽然从理论上看是“靠谱”的,但如何构筑庞大的“专家知识库”却成了众多学者“心中的痛”。例如前面所提及的,美国科学家Douglas Lenat曾尝试建立一个名为Cyc的超级知识库,把几百万条常识用逻辑语言描述出来,借以帮助专家系统构建能力。然而这显然有点“天方夜谭”——举个简单的例子,猫应该有几条腿呢?正常的猫是4条腿,但我们并不能否认残疾的猫有可能出现3条腿或者2条腿的异常情况;又或者基因突变的猫有5条腿的情况。

    所以人们开始寻找其它的实现方式。比如MIT的Rodney Brooks在1990年左右曾发表了《Elephants Don’t Play Chess》的论文,阐述了基于“行为”和环境的人工智能模型。他在论文中对当时的AI研究方法提出了质疑,关键部分引用如下:

    What has gone wrong? (And how is this book the answer?!!)
    In this paper we argue that the
    symbol system hypothesis upon which classical AI is base is
    fundamentally flawed, and as such imposes severe limitations on the fitness of its progeny. Further, we argue that the dogma of the symbol system hypothesis implicitly includes a number of largely unfounded great leaps of faith when called upon to provide a plausible path to the digital equivalent of human level intelligence. It is the chasms to be crossed by these leaps which now impede classical AI research.
    But there is an alternative view, or dogma, variously called nouvelle AI, fundamentalist AI, or in a weaker form situated activity 1. It is based on the physical grounding hypothesis. It provides a different methodology for building intelligent systems than that pursued for the last thirty years.”

     

    2000年以后,人工智能以及多个学科的发展速度明显加快了。业界普遍认为这主要得益于以下几个核心因素:

    1. 互联网大发展的时代
    2. 云计算
    3. 芯片计算能力呈现指数级增长
    4. 大数据

    等等

     

    特别是Stanford大学等学术机构“十年如一日”建立起来的规模庞大的数据平台,为众多学者验证和改进模型提供了非常重要的基线。

    图 1‑18 ImageNet超大规模图像数据集

     

    而进入21世纪的第二个十年后,人们对于人工智能特别是深度学习的热情更是达到了“前无古人”的地步。可以说在这个“人人谈AI”的时期,不懂AI似乎就意味着“落伍”——在不少人的心里,AI甚至已经成为了前沿时尚的代表。例如下面所示的是Stanford大学某AI人员给某奢侈品牌做的广告(图片资源来源于网络):

    图 1‑19 AI与时尚

    (广告上的“CHERCHEUR EN INTELLIGENCE ARTIFICIELLE”是法语,译为“人工智能研究人员”)

     

    毫无疑问,我们正身处于人工智能的本轮热潮中。

    展开全文
  • 2015年3月,随着Google Deepmind开发的AlphaGo程序打败了韩国职业围棋高手李世石(Lee Se-dol),媒体在通稿中开始普遍使用“AI”“机器学习”和“深度学习”这样的字眼,“AI”也迅速成为人们茶余饭后的热门话题,...
  • 选 XXXX大学 人工智能专题研究 游戏人工智能发展与展望 学 院 计算机科学与技术学院 学 生 姓 名 学 号 指导教师姓名 2011年12月26日 目录 课题研究背景及问题的提出 3 人工智能及游戏人工智能简介4 人工智能简介 ...
  • 人工智能时代,所需要了解人工智能的基本常识

    万次阅读 多人点赞 2018-12-10 22:49:44
    国内对于人工智能的讨论大多是不成体系的碎片式,很难从中深入了解人工智能发展脉络和技术体系,也很难有实际借鉴意义。人工智能的历史、核心技术和应用情况进行了详细说明,尤其是其中重要的认知技术。这份报告将...
  • 初识人工智能——人工智能的冷落与兴起

    万次阅读 多人点赞 2018-11-14 21:42:41
    今天开始慢慢进入人工智能的介绍与算法网络等的实现的“传送期”,希望大家能够喜欢! 好,揭幕!! 一、人工智能介绍 什么是人工智能?可能是大家一开始最想了解的。 大家看图中关于人工智能的定义。通俗点来说呢...
  •    Hello大家好,我是你们的朋友JamesBin这篇文章介绍一下人工智能人工智能也是最近这几年才发展起来的,我首先来看一下人工智能发展历史吧!   这张图是人工智能发展情况概览。人工智能发展经历了很长...
  • 人工智能

    千次阅读 多人点赞 2019-08-09 19:03:15
    人们在日常生活中接触人工智能的频率越来越高,有可以帮用户买菜的京东智能冰箱;可以做自动翻译的机器;还有Siri、Alexa和Cortana这样的机器人助理;以及无人车、AlphaGo等已经把人工智能技术带到了“看得到摸得着...
  • 人工智能语音识别发展报告 Report of ArtificialIntelligence Development 目录 1. 语音识别 3 1.1. 语音识别概念 3 1.2. 语音识别发展历史 4 1.3. 人才概况 6 1.4. 论文解读 8 1.5. 语音识别进展 173 语音识别 1....
  • 人工智能与计算机发展

    千次阅读 2019-07-28 21:14:30
    作为近几年的一大热词,...本文就从技术角度为大家介绍人工智能领域经常提到的几大概念与AI发展简史 冯.诺依曼被称为现代计算机之父,。 他设计了经典的冯.诺依曼结构,就是将软件命令和数据素材都存在一起,整...
  • 人工智能发展简史 人工智能基本概念 “人工智能” 是相对于“人类智能” 而言的,“人类智能”是“人工智能”的原型;“人工智能”是“人类智能”的某种人工实现。 “人类智能”是“人类智慧”的一个子集。“智慧”...
  • 湖南中医药大学本科课程实验教学大纲 人工智能 计算机科学与技术专业 执笔人丁长松 审定人* 学院负责人* 湖南中医药大学教务处 二一四年三月 一课程性质和教学目的 人工智能是计算机专业本科生的一门专业必修课适应...
  • 人工智能十大发展方向

    万次阅读 2017-11-14 09:13:56
    人工智能(ArtificialIntelligence),英文缩写为AI.它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。目前要实现会自我思考的高级人工智能还需要科学理论和工程上的...
  •   2019-01-22 18:17:08 自有了人类以来,一共有26种通用目的技术(GPT)。最早的通用目的技术可以回归到1000多年前发明的轮子,近期的...现在,AI是人类诞生以来的第26种通用目的技术。   (图片来源于华...
  • 人工智能芯片发展 (1

    2021-03-11 14:52:19
    人工智能芯片发展(1 人工智能技术随着以深度学习为核心算法的大力发展,目前已经在场景识别,语音识别等方面迅猛发展; 影响人工智能的三大要素:数据 算法 算力 其中算力 是实现算法的重要基础,人工智能芯片也...
  • 浅谈AI芯片的简要发展历史

    千次阅读 2019-03-19 13:21:55
    作为实现人工智能技术的重要基石,AI芯片拥有巨大的产业价值和战略地位。作为人工智能产业链的关键环节和硬件基础,AI芯片有着极高的技术研发和创新的壁垒。从芯片发展的趋势来看,现在仍处于AI芯片发展的初级阶段。...
  • 单选题 1. 生物特征识别技术不包括 3.0 分 A. 体感交互 B. 指纹识别 C. 人脸识别 D.虹膜识别 我的答案 A 答对 2.... 下列对人工智能芯片的表述不正确的是 3.0 分 A. 一种专门用于处理人工智能应用中
  • 人工智能发展史(读书笔记)

    万次阅读 多人点赞 2019-05-29 13:29:37
    可以先看《科学的极致》搭起整个发展历史框架,再看《人工智能简史》了解更多细节问题。下面是我看了《科学的极致》中人工智能发展历史一章的读书笔记。基本就是一个简略的历史发展框架~ 有不对的地方还请大家多多...
  • 来源:36氪研究院本文约2000字,建议阅读8分钟。5大维度、20个三级指标,全面剖析中国36个城市人工智能发展情况。2020年是全面建成小康社会与“十三五”规划收官之年,为了实现全面建...
  • 它的目的是演示通过监督学习和强化学习(深度Q学习)训练的神经网络的基本功能。 该应用程序包括一个证券交易所和与服务器相关的交易者。 证券交易所每天向每个交易者询问一次其订单,并执行所有收到的订单。 每个...
  • 大数据和人工智能未来发展趋势

    万次阅读 2017-12-15 18:11:47
    随着前段时间召开的全国互联网大会,将大数据和人工智能作为未来发展的新方向,那2018年大数据和人工智能会有怎样的发展趋势?  更多关注零售  在近期的大数据和人工智能的应用热潮中,几乎没有哪个领域像...
  • 人工智能发展简史

    千次阅读 2020-11-04 12:12:24
    人工智能发展简史第一章:起步期-20世纪50年代及以前 人工智能到底是什么?通常来说,人工智能(Artificial Intelligence)是研究、开发用于模拟、延伸和扩展人智能的理论、方法、技术及应用系统的一门新技术科学。...
  • 摘要:随着科技发展人工智能技术在教育领域中的应用已取得较大进展。近年来,人工智能AI)技术和由其引发的大数据时代自社会的各个层面包括我们的思维、生活方式和工作模式产生了巨大的变革;其与医学的结合给...
  • 浅谈人工智能以及人工智能发展

    千次阅读 2019-07-02 14:49:29
    科技部召开了新一代人工智能发展规划暨重大科技项目启动会,宣布首批国家新一代人工智能开放创新平台名单:百度、阿里云、腾讯、科大讯飞。这四家企业通过人工智能分别在无人车、公共系统、医学影像和语音识别领域上...
  • 简谈人工智能发展史与伦理规范

    千次阅读 2018-11-04 22:09:33
    @[简谈人工智能发展] 人工智能发展简述 人工智能起源 二十世纪五十年代的时候,人工智能的概念首次被提出。1950年,马文·明斯基(被称为人工智能之父) 马文·明斯基是“人工智能之父”和框架理论的创立者。和麦卡锡...
  • 人工智能的起源及发展

    千次阅读 2020-04-02 11:35:53
    人工智能的研究从1956 年正式开始,这一年在达特茅斯大学召开的会议上正式使用了“人工智能(ArtificialIntelligence,AI)这个术语。第一阶段: 50 年代人工智能的兴起和冷落。人工智能概念首次提出后,相继出现了一批...
  • 如何成为一名AI人工智能算法工程师?

    万次阅读 多人点赞 2019-06-30 12:25:21
    经常有朋友私信问,如何学python呀,如何敲代码呀,如何进入AI行业呀? ...正好回头看看自己这一年走过的路,进行一次经验总结。...人工智能/机器学习/深度学习 自学如何寻找学习资料 如何选择编...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 80,341
精华内容 32,136
关键字:

发展人工智能的目的