精华内容
下载资源
问答
  • 大数据和人工智能

    2019-12-09 15:33:30
    大数据基础 5v特征:大体量(volume)、多样性(variety)、时效性...强人工智能、弱人工智能 人工智能算法 深度学习、迁移学习、对抗学习、强化学习 人工智能技术方向 民用安防、交通、公安、自动驾驶、智能机器人...

    大数据基础

    5v特征:大体量(volume)、多样性(variety)、时效性(velocity)、准确性(veracity)、大价值(value)。

    大数据在电信领域的应用

    网络管理和优化、市场与精准营销、客户关系管理、企业运营管理、数据商业化

    人工智能分类

    强人工智能、弱人工智能

    人工智能算法

    深度学习、迁移学习、对抗学习、强化学习

    人工智能技术方向

    民用安防、交通、公安、自动驾驶、智能机器人

    人工智能关键技术主要包括基础设施层和算法层。其中基础设施包括基础硬件和算法构架。

    大数据应用流程

    数据流
    数据采集
    数据清理
    数据建模
    数据加工

    大数据采集两个工具:flume(日志收集系统)、kafka(分布式发布订阅消息系统)
    数据存储关键技术:HDFS Hbase
    数据计算关键技术:MapReduce、yarn、spark、rdd
    大数据应用场景:推荐引擎、情感分析、营销活动分析、客户流失分析、社交图谱分析

    展开全文
  • 云计算课程14大数据和人工智能.ppt
  • 大数据和人工智能去哪儿学好 随着前段时间召开的全国互联网大会,将大数据和人工智能作为未来发展的新方向,那2018年大数据和人工智能会有怎样的发展趋势? 更多关注零售 在近期的大数据和人工智能的应用热潮中,几乎...
  • 大数据和人工智能
  • 大数据和人工智能的简单介绍,python入门必备基础知识--视频文件。
  • 探索大数据和人工智能最全试题
  • 5G技术探索大数据和人工智能题库大全
  • 土木工程系 Department of Civil Engineering 面向大数据和人工智能的BIM发展 清华大学土木工程系 张建平教授 2019年11月 国家体育场鸟巢 广州珠江新城西塔工程 目录 1 大数据和人工智能战略背景 2 面向大数据的智能...
  • 工程领域大数据和人工智能原则。近年来,大数据和人工智能技术快速发展,其应用广泛落地,已经为 我们的生产和生活带来显著的贡献,在辅助个人能力提升,改善人民生活 品质,促进经济和社会发展,应对全球重大挑战...
  • python大数据和人工智能资料云盘分享,最新课程学习,简单易懂。
  • 大数据和人工智能计算 王绍翾大沙 2018.11 2018携程技术峰会 上海 北京大学 美国加州大学圣地亚哥分校 EECS Computer Engineering 博通Broadcom 脸书Facebook 阿里巴巴 High-Perf Platform Social Graph Storage ...
  • 大数据和人工智能实验手册
  • WORD格式 专业资料整理 探索大数据和人工智能 12012 年 7 月,为挖掘大数据的价值 ,阿里巴巴集团在管理层设立 )一职 ,负责全面推进数据分享平台战略 ,并推出大型的数据分享平台 首席数据官 B.首席科学家 C.首席执行官...
  • 大数据和人工智能概念全面解析

    多人点赞 2019-04-22 15:53:59
    一、大数据和人工智能 大数据是伴随着信息数据爆炸式增长和网络计算技术迅速发展而兴起的一个新型概念。根据麦肯锡全球研究所的定义,大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库...
    一、大数据和人工智能

     

    大数据是伴随着信息数据爆炸式增长和网络计算技术迅速发展而兴起的一个新型概念。根据麦肯锡全球研究所的定义,大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据能够帮助各行各业的企业从原本毫无价值的海量数据中挖掘出用户的需求,使数据能够从量变到质变,真正产生价值。随着大数据的发展,其应用已经渗透到农业、工业、商业、服务业、医疗领域等各个方面,成为影响产业发展的一个重要因素。

    当前人们所说的人工智能,是指研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术以及应用系统的一门新的技术科学,是由人工制造出来的系统所表现出来的智能。

       传统人工智能受制于计算能力,并没能完成大规模的并行计算和并行处理,人工智能系统的能力较差。2006年,Hinton教授提出“深度学习”神经网络使得人工智能性能获得突破性进展,进而促使人工智能产业又一次进入快速发展阶段。“深度学习”神经网络主要机理是通过深层神经网络算法来模拟人的大脑学习过程,通过输入与输出的非线性关系将低层特征组合成更高层的抽象表示,最终达到掌握运用的水平。数据量的丰富程度决定了是否有充足数据对神经网络进行训练,进而使人工智能系统经过深度学习训练后达到强人工智能水平。因此,能否有足够多的数据对人工神经网络进行深度训练,提升算法有效性是人工智能能否达到类人或超人水平的决定因素之一。

    如果你想要系统地学习人工智能,那么推荐你去看床长人工智能教程。非常棒的大神之作,教程不仅通俗易懂,而且很风趣幽默。点击这里可以查看教程。

    随着移动互联网的爆发,数据量呈现出指数级的增长,大数据的积累为人工智能提供了基础支撑。同时受益于计算机技术在数据采集、存储、计算等环节的突破,人工智能已从简单的算法+数据库发展演化到了机器学习+深度理解的状态。

     

    二、人工智能产业及生态

     

    按产业链结构划分,人工智能可以分为基础技术层、AI技术层和AI应用层。基础技术层主要聚焦于数据资源、计算能力和硬件平台,数据资源主要是各类大数据,硬件资源包括芯片研发、存储设备开发等。AI技术层着重于算法、模型及可应用技术,如计算智能算法、感知智能算法、认知智能算法。AI应用层则主要关注将人工智能与下游各领域结合起来,如无人机、机器人、虚拟客服、语音输入法等。

    图1 人工智能产业链

     

     

    资料来源:中国产业信息网,《2017年中国人工智能行业发展概况及未来发展趋势分析》

     

    (一)基础技术层

     

    1.1 大数据

    数据资源是机器学习训练的基本素材,通过对于数据的学习,机器能不断积累经验和优化决策参数,逐渐变得更贴近人类智能。

    从数据流动方向的角度来看,大数据的产业链可分为底层平台、处理分析、应用三个层次。底层平台由基础设施与数据资产池构成,主要提供数据采集、分享和交易服务,处理分析则是在原始数据的基础上对数据进行清洗后以不同方式呈现。在数据处理分析的基础之上,挖掘各行业的数据需求,最终为用户提供服务。

    根据数据应用程度不同,大数据产业链下各参与方功能可细分为数据标准与规范化、数据采集、数据安全、数据储存与管理、数据分析与挖掘、数据运维和数据运用七个方面。 

    1.2 计算能力和硬件平台

    数据资源、核心算法、运算能力是人工智能的三大核心要素。随着全球移动互联网和物联网等快速发展,人类可获取利用的数据正以爆炸式增长。海量的大数据通过最新的深度学习技术将为人工智能的发展与应用带来难以估量的价值,而运算能力提升是人工智能发展的前提保障。其中,芯片是运算能力的核心。

    就目前而言,AI 芯片主要类型有GPU、FPGA、ASIC和类人脑芯片四种。

    1.2.1 GPU

    1.2.1.1 GPU简介

    GPU 即图形处理器,最初是用来做图像运算的微处理器。GPU 优化和调整了CPU 结构,使其运算速度突飞猛进,拥有了更强大的处理浮点运算的能力。2009 年,斯坦福大学的吴恩达及其团队发现GPU 芯片可以并行运行神经网络。用GPU来运行机器学习模型,同样的大训练集,GPU在耗费功率更低、占用基础设施更少的情况下能够支持远比单纯使用CPU时10-100倍的应用吞吐量。因此GPU已经成为数据科学家处理大数据的处理器。

    1.2.1.2 GPU行业现状

    目前国际GPU市场被NVIDIA 和AMD 两大公司瓜分,全球GPU 行业的市场份额有超过70%被NVIDIA占据,而应用在人工智能领域的可进行通用计算的GPU 市场则基本被NVIDIA垄断。目前公司已与谷歌、微软、IBM、丰田、百度等多家尝试利用深度神经网络来解决海量复杂计算问题的企业建立和合作关系。NVIDIA与下游客户在深度学习领域的合作不断加深,已经开发出多款针对深度学习的GPU产品。从产品成熟度、生态圈的规模角度而言,NVIDIA的GPU 已具备统治性的地位。

    中国在GPU芯片设计领域起步较晚,目前只有景嘉微和兆芯两家掌握核心技术的公司正在逐步打破国外芯片在我国GPU市场的垄断局面,但产品还是主要用于GPU最初的图形显控领域,距人工智能所需要的GPU技术还有很远的距离。

    1.2.2 FPGA

    1.2.2.1 FPGA简介

    FPGA,即场效可编程逻辑闸阵列,最初是从专用集成电路上发展起来的半定制化的可编程电路,FPGA 还具有静态可重复编程和动态在系统重构的特性,使得硬件的功能可以像软件一样通过编程来修改,不同的编程数据在同一片FPGA上可以产生不同的电路功能,具有很强的灵活性和适应性。

    FPGA 和GPU 内都有大量的计算单元,因此它们的计算能力都很强。在进行神经网络运算的时候,两者的速度会比CPU 快很多。但是GPU 由于架构固定,硬件原生支持的指令也就固定了,而FPGA 则是可编程的。其可编程性是关键,因为它让软件与终端应用公司能够提供与其竞争对手不同的解决方案,并且能够灵活地针对自己所用的算法修改电路。与GPU相比,FPGA具有性能高、能耗低及可硬件编程的特点。

    1.2.2.2 FPGA行业现状

    目前FPGA 整个市场被国外的两大巨头所寡占,据东方证券研究所数据显示,Xilinx 和Altera 占了近90%的份额,合计专利达到6000多项,剩余份额被Lattice和Microsemi两家占据,两家专利合计共有超过3000项。技术专利的限制和漫长的开发周期使得FPGA行业有着极高的壁垒。

    尽管我国政府多年来在此领域投入了数百亿的科研经费,但FPGA的专利限制及技术门槛使得中国FPGA的研发之路十分艰辛,国内如同创国芯、京微雅格、高云等公司在FPGA研发方面已获得一定进展,但产品性能、功耗、容量和应用领域上都同国外先进技术存在着较大差距。当前国内部分资本已经试图走出国门,通过并购半导体类公司的方法进入FPGA的行业,实现弯道超车。

    1.2.3 ASIC

    1.2.3.1 ASIC简介

    ASIC,即专用集成电路,是指应特定用户要求或特定电子系统的需要而设计、制造的集成电路。ASIC 作为集成电路技术与特定用户的整机或系统技术紧密结合的产物,与通用集成电路相比,具有以下几个方面的优越性:体积更小、功耗更低、可靠性提高、性能提高、保密性增强。FPGA一般来说比ASIC的速度要慢,而且无法完成更复杂的设计,并且会消耗更多的电能,因此就算力而言ASIC远优于FPGA;但ASIC的专用特点使得其生产成本很高,如果出货量较小,则采用ASIC在经济上不太实惠。一旦人工智能技术成熟,ASIC专用集成的特点反而会达到规模效应,较通用集成电路而言,成本大大降低。

    当前ASIC 在人工智能深度学习方面的应用还不多,但是我们可以拿比特币矿机芯片的发展做类似的推理。比特币挖矿和人工智能深度学习有类似之处,都是依赖于底层的芯片进行大规模的并行计算。比特币矿机的芯片经历了四个阶段:CPU、GPU、FPGA 和ASIC。其中ASIC 在比特币挖矿领域,展现出了得天独厚的优势。随着人工智能越来越多的应用在各个领域并表现出优越的性能,长期来看ASIC大有可为。

    1.2.3.2 ASIC市场现状

    随着人工智能的兴起,科技巨头纷纷布局芯片制造。高通、AMD、ARM、Intel和NVIDIA都在致力于将定制化芯片整合进它们的现有解决方案中。Nervana 和 Movidius(目前都在Intel旗下)据说正在开发集合方案。ASIC中较为成熟的产品是谷歌针对AlphaGo研发的TPU。第一代TPU产品由谷歌在2016年I/O大会上正式推出,今年5月的开发者I/O大会上,谷歌正式公布了第二代TPU,又称Cloud TPU,相较于初代TPU,既能用于训练神经网络,又可以用于推理,浮点性能方面较传统的GPU提升了15倍。

    ASIC在人工智能领域的应用起步较晚,国内外水平相差不大。目前国内已有数家公司致力于人工智能相关ASIC芯片研究,代表公司为地平线机器人、中科寒武纪与中星微电子。其中地平线机器人公司作为初创企业,致力于打造基于深度神经网络的人工智能“大脑”平台-包括软件和芯片,可以做到低功耗、本地化的解决环境感知、人机交互、决策控制等问题。其关于芯片的研发目前还未成熟。中科寒武纪和中星微电子则已经有了相对成熟的产品。寒武纪芯片专门面向深度学习技术,研制了国际首个深度学习专用处理器芯片NPU,目前已研发的三款芯片分别面向神经网络的原型处理器结构、大规模神经网络和多种机器学习算法,预计将于2018年实现芯片的产业化。中星微电子于2016年6月推出中国首款嵌入式神经网络处理器(NPU)芯片,这是全球首颗具备深度学习人工智能的嵌入式视频采集压缩编码系统级芯片。这款基于深度学习的芯片运用在人脸识别上,最高能达到98%的准确率,超过人眼的识别率。该芯片于2017年3月6日实现量产,截止到今年5月出货量为十几万件。

    1.2.4 类人脑芯片

    1.2.4.1 类人脑芯片简介

    类人脑芯片是一种基于神经形态工程、借鉴人脑信息处理方式,旨在打破“冯·诺依曼”架构束缚,适于实时处理非结构化信息、具有学习能力的超低功耗新型计算芯片。从理论上来看,类人脑芯片更加接近于人工智能目标的芯片,力图在基本架构上模仿人脑的工作原理,使用神经元和突触的方式替代传统架构体系,使芯片能够进行异步、并行、低俗和分布式处理信息数据的能力,同时具备自护感知、识别和学习的能力。

    1.2.4.2 类人脑芯片市场现状

    类人脑芯片是人工智能芯片发展的重点方向。目前各国政府及科技巨头都在大力推动类人脑芯片的研发进程,包括美国、日本、德国、英国、瑞士等发达国家已经制定相应的发展战略,中国的类人脑科学研究项目目前也已经正式启动。当前世界上已有一批科技公司走在前列,在类人脑芯片研发中取得了突破,代表产品包括IBM的TrueNorth芯片、高通Zeroth芯片、谷歌的“神经网络图灵机”等。

    (二)AI技术层

    AI技术层主要着眼于算法、模型及可应用技术。按照智能程度不同,人工智能可分为运算智能、感知智能、认知智能三个阶段。运算智能,即快速计算和记忆存储能力,在这一阶段主要是算法与数据库相结合,使得机器开始像人类一样会计算和传递信息; 感知智能,即视觉、听觉、触觉等感知能力,在这一阶段,数据库与浅层学习算法结合,使得机器开始看懂和听懂,并做出判断、采取行动;认知智能,即能理解会思考的能力,这一阶段主要是采用深度学习算法,使得机器能够像人一样思考,主动采取行动。

    AI技术层可以分为框架层和算法层,其中框架层指TensorFlow,Caffe,Theano,Torch,DMTK,DTPAR,ROS等框架或操作系统,算法层指的是对数据的处理方法。

    根据数据类型的不同,对一个问题会采用不同的建模方式,即学习方式。按照学习方式来分类,人工智能算法可以分为传统机器学习和神经网络算法,其中传统机器学习又可细分为监督式学习、非监督式学习、半监督式学习、强化学习。

    2.1 传统机器学习

    2.1.1 监督式学习

    在监督式学习下,输入数据被称为“训练数据”,每组训练数据有一个明确的标识或结果,如对防垃圾邮件系统中“垃圾邮件”“非垃圾邮件”,对手写数字识别中的“1“,”2“,”3“,”4“等。在建立预测模型的时候,监督式学习建立一个学习过程,将预测结果与“训练数据”的实际结果进行比较,不断的调整预测模型,直到模型的预测结果达到一个预期的准确率。监督式学习的常见应用场景如分类问题和回归问题。常用算法有回归算法、朴素贝叶斯、SVM等。

    2.1.2 非监督式学习

    在非监督式学习中,数据并不被特别标识,学习模型是为了推断出数据的一些内在结构。常见的应用场景包括关联规则的学习以及聚类等。关联规则学习的常见算法主要为Apriori算法及其拓展算法,聚类的常用算法有k-Means算法及其相似算法。

    2.1.3 半监督式学习

    在此学习方式下,输入数据部分被标识,部分没有被标识,这种学习模型可以用来进行预测,但是模型首先需要学习数据的内在结构以便合理的组织数据来进行预测。应用场景包括分类和回归,算法包括一些对常用监督式学习算法的延伸,这些算法首先试图对未标识数据进行建模,在此基础上再对标识的数据进行预测。如图论推理算法(Graph Inference)或者拉普拉斯支持向量机(Laplacian SVM.)等。

    2.1.4 强化学习

    在此学习模式下,输入数据作为对模型的反馈,不像监督模型那样,输入数据仅仅是作为一个检查模型对错的方式,在强化学习下,输入数据直接反馈到模型,模型必须对此立刻作出调整。常见的应用场景包括动态系统以及机器人控制等。常见算法包括Q-Learning以及时间差学习(Temporal difference learning)。

    2.2 神经网络

    人工神经网络是模拟生物神经网络,由众多的神经元可调的连接权值连接而成,具有大规模并行处理、分布式信息存储、良好的组织学习能力特点,并通过一定学习准则进行学习,进而建立相关模型,解决一定工作。在人工神经网络的学习算法设计方面,一般对人工神经网络进行大量的数据训练和调整,不断修正各层级节点参数,通过不断学习使得人工神经网络具有初步的自适应能力和自我组织能力及较强的泛化能力,进而较快适应周边环境要求,基于其众多优点,人工神经网络已然成为人工智能算法的核心。深度学习算法是人工神经网络当前最新算法,其实质是通过很多隐层的机器学习模型和海量的训练数据来学习更有用的特征,从而提升分类或预测的准确性。

     

    (三)AI应用层

     

    人工智能的应用主要是采用了“AI+垂直行业”的方式渗透到传统各行业,按发展层次的不同可以分为专用人工智能、通用人工智能和超级人工智能三个层次。其中,专用人工智能以一个或多个专门的领域和功能为主;通用人工智能即机器与人类一样拥有进行所有工作的可能,关键在于自动地认知和拓展;超级人工智能是指具有自我意识,包括独立自主的价值观、世界观等,目前仅存在于文化作品构想中。

    按应用技术类型进行划分,人工智能的应用技术可以分为计算机视觉、机器学习、自然语言处理和机器人四块。

    3.1 计算机视觉

    计算机视觉,是指计算机从图像中识别出物体、场景和活动的能力。计算机视觉技术运用由图像处理操作及其他技术所组成的序列来将图像分析任务分解为便于管理的小块任务目前计算机视觉主要应用在人脸识别、图像识别方面(包括静态、动态两类信息)。

    人脸识别,亦叫人像识别、面部识别,是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行处理的一系列相关技术。

    图像识别,是计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对象的技术。识别过程包括图像预处理、图像分割、特征提取和判断匹配。由于动态监测与识别的技术限制,静态图像识别与人脸识别的研究暂时处于领先位置。

    当前国外科技巨头自行研发和收购双管齐下布局计算机视觉领域,将技术广泛用于自身产品升级,并基于自身基因打造技术服务平台和新品类持续提升影响力。中国国内BAT都已纷纷布局相关领域,并基于自身产品进行功能研发。百度相对更加激进,成立了独立风投公司,专注于AI早期投资。

    除BAT三巨头外,国内也有不少初创公司涉足计算机视觉技术,主要聚焦于技术应用。其中典型代表当属旷视科技。公司成立于2012年11月,公司专注于人脸识别技术和相关产品应用研究,面向开发者提供服务,能提供一整套人脸检测、人脸识别、人脸分析以及人脸3D技术的视觉技术服务,主要通过提供云端API、离线SDK、以及面向用户的自主研发产品形式,将人脸识别技术广泛应用到互联网及移动应用场景中。Face++通过和众多互联网公司合作,并通过“脱敏”技术掌握到了500万张人脸图片数据库,在互联网图片人脸识别LFW的准确率达到99.6%,合作伙伴包括阿里、360等一批大型的图片、社交、设备类企业。

    当前国内计算机视觉创业热度不断提高,iiMedia Research(艾媒咨询)数据显示, 中国人工智能创业公司所属领域分布中,计算机视觉领域拥有最多创业公司,高达35家。 

    3.2 机器学习

    机器学习是指计算机通过对大量已有数据的处理分析和学习,从而拥有预测判断和做出最佳决策的能力。其核心在于,机器学习是从数据中自动发现模式,模式一旦被发现便可用于做预测。

    机器学习的应用范围非常广泛,针对那些产生庞大数据的活动,它几乎拥有改进一切性能的潜力。除了欺诈甄别之外,这些活动还包括销售预测、库存管理、石油和天然气勘探、以及公共卫生。机器学习技术在其他的认知技术领域也扮演着重要角色,比如计算机视觉,它能在海量图像中通过不断训练和改进视觉模型来提高其识别对象的能力。

    现如今,机器学习已经成为认知技术中最炙手可热的研究领域之一,在2011-2014年中这段时间内就已吸引了近十亿美元的风险投资。谷歌也在2014年斥资4亿美金收购Deepmind这家研究机器学习技术的公司。目前国内机器学习相关企业数量相对较少。BAT在机器学习方面有着先天的优势,国内初创公司第四范式是基于机器学习的解决方案提供商。 

    3.3 自然语言处理

    自然语言处理就是用人工智能来处理、理解以及运用人类语言,通过建立语言模型来预测语言表达的概率分布,从而实现目标。

      自然语言处理技术在生活中应用广泛,例如机器翻译、手写体和印刷体字符识别、语音识别后实现文字转换、信息检索、抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等。它们分别应用了自然语言处理当中的语法分析、语义分析、篇章理解等技术,是人工智能界最前沿的研究领域。时至今日AI在这些技术领域的发展已经把识别准确率从70%提高到了90%以上,但只有当准确率提高到99%及以上时,才能被认定为自然语言处理的技术达到人类水平。

    在资本与产业助力之下,我国人工智能的语音识别技术已处于国际领先水平,技术成熟,通用识别率上,各企业均维持在了95%左右的水平。类似百度、科大讯飞等上市公司凭借深厚的技术和数据积累在市场上占据前列,且通过软硬件服务的开发不断进化着自身的服务能力。在科大讯飞之后发布国内第二家“语音识别公有云”的云知声在各项通用语音服务技术的提供上也占据着不小的市场空间。除此之外,依托中科院自动化所的紫冬锐意和纳象立方以及有着海外背景的苏州思必驰在教育领域的语音识别上占据着领先的位置。

    3.4 机器人

    将机器视觉、自动规划等认知技术整合至极小却高性能的传感器、致动器、以及设计巧妙的硬件中,这就催生了新一代的机器人,它有能力与人类一起工作,能在各种未知环境中灵活处理不同的任务。

    目前世界上至少有48个国家在发展机器人,其中25个国家已涉足服务型机器人开发。在日本、北美和欧洲,迄今已有7种类型计40余款服务型机器人进入实验和半商业化应用在服务机器人领域。美国是机器人的发源地,美国的机器人技术在国际上仍一直处于领先地位,其技术全面、先进,适应性十分强,在军用、医疗、家用服务机器人产业都占有绝对的优势,占服务机器人市场约60%的份额。国内智能机器人行业的研发主要集中于家庭机器人、工业/企业服务和智能助手三个方面。其中工业及企业服务类的机器人研发企业依托政策背景和市场需求处于相对领先的发展阶段。然而在中国涉足智能机器人的企业中,从事家庭机器人和智能助手研发的企业占据了绝大多数比例。

    因为服务一般都要结合特定市场进行开发,本土企业更容易结合特定的环境和文化进行开发占据良好的市场定位,从而保持一定的竞争优势;另一方面,外国的服务机器人公司也属于新兴产业,大部分成立的时候还比较短,因而我国的服务机器人产业面临着比较大的机遇和可发展空间。

    展开全文
  • WORD格式可编辑 探索大数据和人工智能最全试题 1 2012 年 7 月 , 为挖掘大数据的价值 , 阿里巴巴集团在管理层设立 ) 一职 , 负责全 面推进数据分享平台战略 , 并推出大型的数据分享平台 首席数据官 首席科学家 C....
  • WORD格式可编辑 探索大数据和人工智能最全试题 12012 年 7 月 , 为挖掘大数据的价值 , 阿里巴巴集团在管理层设立 ) 一职 , 负责全 面推进数据分享平台战略 , 并推出大型的数据分享平台 A 首席数据官 B. 首席科学家 C...
  • 云计算、大数据和人工智能

    个人认为这是一篇讲云计算、数据和人工智能之间的关系讲得比较好的一片文章。想看的可以直接点击下面的链接。
    云计算、大数据和人工智能

    展开全文
  • 精选文库 PAGE PAGE 3 -- 探索大数据和人工智能 12012年7月,为挖掘大数据的价值,阿里巴巴集团在管理层设立)一职,负责全面推进数据分享平台战略,并推出大型的数据分享平台 A首席数据官 B.首席科学家 C.首席执行官 D....
  • 大数据和人工智能计算-阿里王绍翾.pdf
  • 大数据和人工智能的概念

    千次阅读 2021-02-24 17:26:26
    大数据和人工智能 我们将看到世界如何通过数字化而改变,从而导致消费和工业领域的大数据现象;了解到数据量呈指数级增长,从太字节到艾字节再到泽字节;意识到计算机的处理能力增加了成百上千倍;讨论软件随着人工...

    大数据和人工智能的概念

    概述大数据和人工智能领域的一些热门趋势。我们将看到世界如何通过数字化而改变,从而导致消费和工业领域的大数据现象;了解到数据量呈指数级增长,从太字节到艾字节再到泽字节;意识到计算机的处理能力增加了成百上千倍;讨论软件随着人工智能的应用变得更加智能,比如IBM的Watson 在《危险边缘》节目中击败人类冠军,Facebook 在照片中自动为你标记朋友,还有谷歌的自动驾驶汽车;最后阐释分析技术的类型,并介绍一个简单示例:构建由分 析驱动的系统来交付结果。

    数据是新石油,人工智能是新电力

    我们生活在互联网时代。在亚马逊网站上购物、通过优步打车、在Netflix 网站上刷剧,所有这些都是通过互联网实现的。在这背后,大量数据不断地从我们的计算设备上传和下载到云中的远程服务器。计算设备本身不再局限于个人计算机、笔记本计算机和移动电话。今天,我们有更多智能设备或“物”连接到互联网上,比如电视、空调、洗衣机等,且与日俱增。这些设备就像计算机一样,由微处理器驱动,并具有将数据传输到云的通信接口。这些设备可以使用Wi-Fi、蓝牙和蜂窝通信协议将数据上传到云中,还可以从远程服务器下载最新的内容,包括最新的软件更新。

    物联网的出现改变了我们的生活,其现状可能非常符合10 年前的科幻小说。我们有可以根据我们的生活方式建议日常锻炼的健身手环,有可以监测心脏异常的手表,有可以收听语音指令的家用电子设备,当然还有著名的自动驾驶汽车和卡车。这些联网设备足够智能,可以分析图像、视频和音频等复杂数据,了解其环境,预测可能的结果,执行所建议的行动或指定一个行动。

    Fitbit 检查我一天内的运动量是否足够,并礼貌地“要求”我起来开始锻炼。我们有传感器可以感应任何没有运动的情况,如果房间没人了,灯就会自动关闭。苹果手表4 有一个基本的心电图(EKG)功能,可以测量心脏状况。特斯拉汽车的消费者通过软件更新直接获得新功能,不需要去服务商店。现代物联网设备不仅是互联的,而且有实现一些惊人成果的智能,而这些在几年前只有科幻小说中才有描述。

    物联网革命的影响如此巨大,以至于我们现在习惯于期待这样的结果。这项技术会一直存在下去。前几天,我4 岁的儿子问家里的亚马逊Echo 设备:“Alexa,你可以帮我做作业吗?”现代消费者期望设备能够提供此类新功能,任何不足都是不可接受的!

    Alexa,你可以帮我做作业吗?

    在这里插入图片描述

    虽然结果各不相同,但这些物联网设备或“物”有一种共同模式:用传感器来“观察”环境并收集数据。这些数据可能是简单的传感器读数,如温度;也可能是复杂的非结构化数据类型,如声音和视频。有些处理是在设备端本身完成的,叫作边缘处理(edge processing)。物联网设备由于成本低,处理和存储能力通常很有限。为了进行更大规模的处理并与历史数据进行比较,这些设备将数据上传到远程服务器即云端。较新的高级物联网设备具有内置的云连接功能,可选择Wi-Fi、蓝牙或蜂窝通信协议。低功耗(和低成本)设备通常使用网关连接到云并上传数据。在云中,数据可以在更大、更快的计算机上进行处理,这些计算机通常安放在数据中心的大型集群中。此外,可以将设备数据与来自同一设备和许多其他设备的历史数据结合起来处理,这可能会产生新的、更复杂的结果,这些结果仅凭边缘处理是不可能产生的。产生的结果随后使用相同的连接选项下载回设备。这些物联网设备可能还需要通过及时的软件更新和配置进行远程管理,这也是通过云实现的。图1-2 从宏观上显示了每个级别处理数据的规模。

    我们正将数十亿的智能互联设备放在互联网上。我们有智能手机录制、存储和传输太字节级别的照片和视频。监控摄像机全天候收集视频。GPS 设备、射频识别标签和健身跟踪器持续监控、跟踪和报告运动状态。我们已经把图书馆从书架“搬”到了拥有成百上千本电子书的Kindle 上。磁带和光盘转变成了MP3 格式文件,又变成应用程序,供我们下载音乐库。Netflix 使用了世界互联网带宽的15%。而这一切仅仅是消费互联网。

    消费互联网上的数据量

    在这里插入图片描述

    机器的崛起

    工业界正在发生一场并行数据的革命,其成果甚至更显著。这是一个由GE、西门子、博世等公司倡导的全新互联网,主要面向工业应用,在欧洲叫作工业互联网或工业4.0。燃气轮机、机车和核磁共振成像仪(MRI machine)等重型机械,而不是小型消费设备,被升级成智能设备并连接到互联网。这些机器通过升级先进的传感器、连接和处理能力,实现边缘分析和与工业云的连接。工业机器每天产生太字节和拍字节级的数据,比消费设备多得多。这些数据需要实时处理,以了解机器在告诉我们什么,以及我们如何提高其性能。我们需要能够通过观察传感器数据,确定一架飞机服务年限已到,不应该再执行飞行任务。核磁共振扫描仪应该具有极高的精确度,能够捕捉图像,为医生诊断病症提供足够的证据。

    从图1-3 中可以清楚地看到,随着工业界中数据规模的增加,及时处理数据、生成结果日益重要。如果大家非常喜欢的《黑镜》剧集要缓冲,那么我们可以等上几秒钟。但是,医生晚几秒钟拿到核磁共振结果,对病人来说可能是致命的!

    工业互联网上的数据量

    在这里插入图片描述

    处理能力的指数级增长

    这是一场大数据革命,而我们身处其中。除非有办法及时处理数据并从中提取价值,不然这些数据没什么用。我们看到计算设备的处理能力出现了前所未有的增长,存储容量也出现了类似的增长。摩尔定律指出,由于电子学的进步,计算设备的处理能力每两年翻一番。基本上,我们可以在相同尺寸下封装两倍数量的晶体管,处理能力也随之翻倍。现代计算技术正在使这条定律变得过时。我们看到,使用先进的处理器[如NVIDIA GPU、谷歌TPU 和使用片上系统(SoC) 技术集成的专用FPGA],处理能力每年增长10~100 倍。当我们想到计算机时,它不再是桌子上有着键盘和中央处理器塔的笨重屏幕。我们在电视、空调、洗衣机、火车、飞机等设备中都安装了微处理器。数据存储量从太字节上升到拍字节再到艾字节,现在我们还有了一个描述大数据的新术语——泽字节。我们越来越擅长提升设备(边缘)的处理能力,并将更密集的存储和处理转移到云上。

    数据和处理能力的增长正推动着我们改进数据分析类型。传统上,我们会按照特定的指令对计算设备进行编程,它们会毫无疑问地运行这些算法。现在我们期望这些设备更智能,并使用大数据来获得更好的结果。我们不仅仅希望预定义的规则一直运行,还希望实现之前谈到的预期结果。这些设备需要像人类一样思考。我们期望计算机通过声音和光学传感器发展出对世界的视觉感知和听觉感知能力。我们期望计算机像人类助手一样规划我们的日程——提前告诉我们汽车是否会因为发动机过热而出现问题,并像人类一样回答我们提出的问题。

    一种新的分析方法

    所有这些都需要在概念化和构建分析的方式上有一个全新的范式转变。我们正在从预定义的基于规则的方法转向在处理系统中构建人工智能。这些系统处理的数处理速度都在大幅增加,用于构建分析的传统算法方法已无法应对。现在我们需要专门的应用程序,迄今为止这些应用程序只能由人类大脑来完成,而不是用计算机来编程。如今,我们有计算机学习执行智能任务,甚至它们在这些任务上的表现超过人类。斯坦福大学教授、Coursera 创始人吴恩达博士有句名言:“人工智能是新电力。”在工业革命期间,正如电力影响每个行业和人类生活的每个方面,并彻底改变了一切那样,我们看到人工智能正在做着同样的事情。人工智能正影响着生活中的很多领域,并使计算机得以实现以前无法实现的结果。大数据和人工智能正在改变生活的方方面面,改变世界!

    人工智能执行智能任务的示例包括识别照片中的人(谷歌Photos)、响应语音命令(Alexa)、玩视频游戏、查看核磁共振扫描结果以诊断患者、回复聊天信息、自动驾驶汽车、检测信用卡欺诈交易,等等。这些曾被认为是只有人类才能完成的特殊任务,但我们现在有了比人类做得更出色的计算机系统。我们有像IBM的Watson 这样的示例,这是一台打败人类专家的人工智能计算机。自动驾驶卡车可以在美国进行越野旅行。亚马逊Alexa 可以听你的命令、解释命令并回答,这只需要几秒钟。工业互联网也是如此。最近有许多示例,比如自动卡车和火车,发电厂转向预测性维护,航空公司能够在起飞前预测延误——可以看到人工智能推动了工业界的主要成果,如图1-4 所示。

    铁道交叉口的计算机视觉人工智能

    在这里插入图片描述

    人工智能开始在两三年前人类没有想到的领域发挥作用。最近有消息称,一幅纯粹由人工智能创作的画售价高达432 500 美元。佳士得纽约拍卖行出售的这幅画名为“Edmond de Belamy, from La Famille de Belamy”,是由一种叫作生成对抗网络(GAN)的人工智能算法生成的。

    另一个有趣的人工智能项目是由NVIDIA的研究人员完成的,目的是拍摄名人的面部图像并生成新图像。结果是一些惊人的新图像看起来非常真实,但不属于任何名人,它们都是假的。超级聪明的人工智能利用通过“观看”真实的名人照片而获得的随机数和模式,能够制造出难以辨别的假名人照片。

    是什么让人工智能如此特别

    想想铁道路口的监控摄像系统。它从多台全天候摄像机捕捉太字节的视频源,同步来自几台摄像机的视频,并在屏幕上显示它们以及每个视频的时间信息。现在,人类可以实时查看视频源或者回放来了解发生了什么。在这种情况下,计算机系统以正确的格式处理数据的捕获和存储,同步几个视频源并在公共仪表板上显示。它非常高效地完成这些任务,不会感到疲倦,也不会抱怨。

    接下来,由人来对视频进行实际的解释。如果我们想在火车即将到达时检查是否有人穿越铁轨,就需要依靠人工查看视频,并反馈信息。类似的监视系统用于检测公共场所的可疑行为、船上的火灾危险或机场无人看管的行李。最终的分析需要由人来完成,以提取感兴趣的模式并据此采取行动。人脑具有惊人的处理能力和内置智能,每秒能够处理并解释数百幅图像,以找出感兴趣的项(人物、火等),但缺点是随着时间的推移,人类容易疲劳也容易出错。如果一名保安连续观看实时视频,他一定会感到疲倦,并可能错过重要事件。

    人工智能就是把类似人类的智能构建到计算系统中。以监控视频源为例,除了显示同步的视频源外,系统还可以识别重大活动,从而构建了人工智能系统。为此,系统需要的不仅仅是大数据和处理能力,它还需要一些智能算法来理解和提取数据中的模式,并利用这些模式对新数据进行预测。这些智能算法构成了人工智能系统的“大脑”,并帮助它像人类一样执行活动。

    普通的计算机系统非常擅长执行重复性的任务。它们需要用精确的指令明确编程,以便对数据执行操作,并且它们会对系统中的新数据持续执行这些操作。我们用代码编写这些指令,计算机执行这些代码无数次都没问题。现代计算系统也可以通过在多核处理器上同时运行多个作业进行并行处理。然而,每个作业仍然是预先确定的程序。这对于早期处理视频输入并在显示器上显示非常合适。只要计算资源(CPU、内存和存储)充足,就可以同时向系统提供来自数百台摄像 机的素材,系统会保持视频的格式设置并将其存储和显示在屏幕上,而不会有任何损失。我们可以将数百个视频源输入系统中,系统会很好地存储、同步,并在屏幕上显示它们。

    然而,为了理解这些视频并从中提取有价值的知识,系统需要一种完全不同的能力。我们人类认为理所当然的这种能力叫作智力……但对计算机来说是件大事。智力帮助我们看视频,了解视频里发生了什么;帮助我们阅读数百页的书,并用几句话向朋友总结中心思想;帮助我们学会下棋,随着时间的推移提升棋艺。如果我们能以某种方式把这种智力推送进计算机,那么就有了速度和智能的完美结合,这能帮助我们做一些了不起的事情。以上就是人工智能的全部内容。

    待续……

    展开全文
  • 大数据和人工智能未来发展趋势

    万次阅读 2017-12-15 18:11:47
    随着前段时间召开的全国互联网大会,将大数据和人工智能作为未来发展的新方向,那2018年大数据和人工智能会有怎样的发展趋势?  更多关注零售  在近期的大数据和人工智能的应用热潮中,几乎没有哪个领域像...
  • 终于有人把云计算、大数据和人工智能讲明白了!

    万次阅读 多人点赞 2018-04-04 08:27:51
    今天跟大家讲讲云计算、大数据和人工智能。这三个词现在非常火,并且它们之间好像互相有关系。 一般谈云计算的时候会提到大数据、谈人工智能的时候会提大数据、谈人工智能的时候会提云计算……感觉三者之间...
  • 浅谈大数据和人工智能

    千次阅读 2018-02-01 00:15:08
    2.大数据和人工智能是没有直接关系,但有共同点,都得处理有用数据 3.java和大数据的关系,大数据是一个增值的过程。不会java,根本没法学大数据 4.大数据的就业方向很多,可以搞数据挖掘,数据分析,数据统计 5....
  • 探索大数据和人工智能习题 12012年7月,为挖掘大数据的价值,阿里巴巴集团在管理层设立)一职,负责全面推进数据分享平台战略,并推出大型的数据分享平台 A首席数据官 B.首席科学家 C.首席执行官 D.首席架构师 2整个 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 11,034
精华内容 4,413
关键字:

大数据和人工智能