三十年中国GIS基础软件市场回顾与发展展望
 来源于地址：https://www.supermap.com/cn/paper/paper_show.asp?cid=2096
 宋关福,李绍俊
 (1. 北京超图软件股份有限公司，北京　100015;2. 地理信息基础软件与应用国家测绘地理信息局　工程技术研究中心，北京　100101)
 论文来源：《地理信息世界》 第25卷 第1期
 
摘要:我国GIS基础软件的商业化始自1987年，经历数十年的发展，队伍不断壮大，但由于市场空间和规模不大、产业化机制不完善等问题，市场表现并不尽如人意。最近的十余年来，随着国家支持力度的增强、企业创新投入的加大、市场需求的增多，我国GIS基础软件无论在技术上还是市场上都取得了长足的进步，国内总体市场份额近70%，整体技术水平与国际并跑，三维等新技术应用处在国际前沿。未来，我国GIS基础软件将继续加大投入，坚持自主创新，取得更大的进步。
 关键词: GIS基础软件,GIS三十年,自主创新
 
Review and Prospect of China GIS Basic Software Market for 30 Years
 
SONG Guanfu, LI Shaojun
 
(1. SuperMap Software Co.,Ltd., Beijing 100015, China; 2. Engineering Technology Research Center of Geographic Information Basic Software and Application in National Administration of Surveying, Mapping and Geoinformation, Beijing 100101, China)
 
Abstract:
 
The commercialiaation of China GIS basic software started from 1987. and experienced decades of development. However, due to the lack of market space and scale, and the industrialization mechanism, the market performance of China’s
 
GIS basic software is not satisfactory. During the last dozen years, with the enhancement of the national supports, the increase of the enterprise innovation input, and the development of the market demands, China GIS basic software has made great progress in both in technology and in the market. The overall domestic market share is nearly 70%, and the overall technical level runs with the international counterparts, and the application of new technologies (e.g., 3D GIS) are at the international forefront. In the future, China GIS basic software will continue to increase investment, adhere to independent innovation, and make greater progress.
 
Key words:
 
GIS basic software; 30 years development of GIS; independent innovation
 
引　言
 
业界常说：“软件定义世界，数据驱动未来”，地理信息产业也是如此[1]。地理信息产业的发展离不开数据，也离不开软件。如果说数据是粮食，那么软件就是利用粮食加工成食品的工具，两者的完美结合，才能产生地理信息产业的饕餮盛宴[1]。
 
在地理信息系统(GIS)软件产业链中，包括基础软件和应用软件。虽然GIS基础软件的产值规模在地理信息产业中占的比重较小，却是地理信息软件产业链的技术制高点，是绝大部分GIS应用解决方案的技术基础。一个国家的GIS基础软件技术发展水平，一定程度上代表了该国地理信息技术创新的能力和水平[2]。
 
1　中国GIS基础软件发展历程回顾
 
1987年，北京大学遥感所的PURSIS(PekingUniversity Remote Sensing Information System)诞生，是公认的中国商品化GIS软件的起点，距今已有30年。PURSIS是在北京大学遥感所创始人承继成教授的倡导下，整合了1985～1987年间几位在读研究生王峥、任伏虎(现为中科遥感集团执行总裁)、柳林(现为美国辛辛那提大学和中山大学教授)、谢昆青(现为北京大学教授)等人的成果研发而成的286XT微机版GIS。该项工作得到了国家自然科学基金支持。今天看来，PURSIS虽然比ESRI 1982年首次发布的Arc/Info晚五年，但有可能是全球最早的DOS环境GIS软件产品。
 
1988年9月，PURSIS更名为SpaceMan，升级成为了真正意义的商品化软件，至1994年前后发展到SpaceMan4.0版，并在国土、气象、林业和教育等领域拥有约2 000多用户。1993年前后，在SpaceMan的基础上，程承旗教授和邬伦教授领导研发了国内第一套基于Windows环境的GIS软件CityStar[3]，参与系统设计与开发的成员们后来都成为了中国GIS科学发展的中坚力量。
 
PURSIS、SpaceMan和CityStar的发展，包含了一代GIS先行者的梦想、探索与实践，也激励着后来的GIS从业者们不断向前，为中国GIS基础软件产业的发展点燃了星星之火。20世纪90年代，一大批国产GIS基础软件纷纷出现，包括武汉测绘科技大学的GeoStar[4]、中国地质大学的MapCAD、中科院地理所的APSIS、中国林科院的WinGIS，北大青鸟的青鸟GIS和北大方正的方正智绘等在内，共计20多个。
 
1997年，在PUSIS出现十年后，SuperMap GIS的前身，ActiveMap组件式GIS诞生，成功应用于国内军事项目。到2000年年底，超图软件正式发布了第一代的SuperMap GIS基础软件。
 
虽然中国的GIS基础软件队伍不断壮大，但在市场上的表现并不尽如人意。到2000年，中国GIS市场份额的前几名基本是清一色的国外品牌，包括ESRI、MapInfo、Intergraph、Bentley、Autodesk和SmallWorld等。
 
为什么中国GIS基础软件的起步并不晚，但在1987年之后的十余年间，其发展却落后于国际品牌?究其原因，笔者认为：一是当时中国GIS应用市场的发展远远落后于欧美发达国家，没有大的市场空间和规模，无法孕育强大的GIS基础软件;二是市场经济发展不足，没有成熟的产业化机制。相比于美国的ESRI先成立公司后发布产品的模式，中国GIS产品大多是先有了产品和技术，后成立公司，导致产品缺乏专业化的公司来持续经营和发展。
 
可喜的是，随着技术的进步和需求的牵引，2000年以后，自主GIS基础软件取得了较快发展[5-6]。据赛迪顾问发布的调查报告，2008年，中国市场GIS软件份额前四名中，自主品牌占两席(图1a);到2015年，中国市场GIS软件份额前四名中，自主品牌占三席，且首次夺得第一(图1b)。
 

 图1 中国基础软件市场份额
 Fig.1 The market share of China GIS basic software in 2008 and 2005
 
图2对比了2008年与2015年自主GIS品牌和国外品牌的市场份额情况，可以很明显地看到，自主GIS品牌市场占有率从2008年度的37%上升至2015年度的49%;国外GIS品牌市场占有率则从48%下降到34%;在其他15%(2008年)和17%(2015年)的份额中，绝大部分也是中国自主GIS品牌，如图2所示。
 

 图2　自主品牌市场份额的变化
 Fig.2 The market share changes of self-owned brand GIS
 
2　自主GIS基础软件发展的驱动因素
 
自2000年以来，我国自主GIS基础软件取得了快速的发展，在众多行业和领域得到广泛应用。概括起来，其驱动因素主要包括以下几个方面[7-8]。
 
2.1 科技主管部门的推动
 
1996年前后，科技部启动GIS软件测评工作，由国家遥感中心牵头，中国地理信息系统协会(后更名为中国地理信息产业协会)具体组织实施，各软件厂商积极参加每年的测评，科技部择优向社会推荐。
 
自主GIS软件测评活动，在国内掀起一阵“GIS软件技术比武”的热潮，大家你追我赶，竞相发展技术，提升产品，对自主GIS基础软件的发展，起到了非常关键的作用。
 
除软件测评以外，国家高技术研究发展计划(863计划)的实施也对自主GIS基础软件的发展起了很重要的作用。如2001年启动的863项目“面向网络海量空间信息大型GIS”采用“比武招亲”形式，即先在投标的各家中择优选择5家进行支持，两年后对各家产品与技术进行测评验收，支持优胜的3家。这种创新的淘汰机制，使其对GIS基础软件技术发展的促进作用发挥到极致，中标的5家不敢懈怠，全力以赴投入技术创新，且该项目要求必须由企业牵头，有成熟的产业化机制，侧重产业化推广而非纯粹的科学研究。经过该项目，基本奠定了我国自主GIS品牌的格局。类似的项目机制，非常有利于推动产业技术的发展。
 
2.2 企业技术创新投入增大
 
早期的GIS软件企业规模小，研发资金投入有限。随着企业的快速发展，规模不断扩大，研发投入规模也逐步增大，大幅增强了GIS软件信息技术研发和创新能力。如中国GIS基础软件品牌中地、吉奥和超图几家公司的员工人数都在千人以上，与十年前相比规模大了很多，其中超图将近3000人规模，2016年研发投入超过亿元规模。
 
有规模的投入，不仅可以加快新技术发展的速度，还可以构建规范化的产品研发体系，提高产品品质。如超图研究院创立的软件研发管理体系，特别是具备持续运行3万多个测试程序的自动化测试体系，不仅提高了产品品质，还能推广给其他IT企业。
 
2.3 领先的需求牵引
 
目前，中国政府的GIS应用水平，也已经处于世界前列，特别是在大量新技术的应用方面，有的已经领先于欧美发达国家。如在三维GIS应用方面，中国政府信息化中三维应用非常广泛，已经站在该技术应用的前沿。领先的应用蕴含领先的需求，领先的需求催生领先的产品和技术。中国GIS基础软件企业迎来了最好的机会，解决好了中国的应用需求，就可以做出全球领先的软件产品。
 
在上述3个因素的影响下，中国自主GIS基础软件在技术先进性和产品成熟度两方面，都有了极大的进展。
 
3　对当前中国GIS基础软件发展的思考
 
中国GIS基础软件走出了一条自主创新之路，如图3所示。在1980年代的起步阶段，GIS应用主要以桌面GIS为主，提供基础的GIS空间分析功能，并应用于个别传统行业。1990～2000年代，自主GIS软件实现对国外GIS软件的追赶，以组件式GIS、WebGIS、空间数据库技术为主，逐步发展起了三维GIS技术。过去十年间，自主的GIS基础软件取得了较快发展，与国际GIS技术并驾齐驱，广泛应用于中国信息化建设的方方面面。
 

 图3中国基础软件30年
 Fig.3 China GIS basic software for 30 years
 
当前，在需求和技术等的牵引下，中国GIS基础软件最近几年的重要技术方向可以总结为CCTB，即云GIS技术(Cloud Computing GIS)、跨平台GIS技术(Cross Platform GIS)、新一代三维GIS技术(ThreeDimension GIS)和大数据GIS技术(Big Data GIS)。
 
云GIS技术是让GIS软件能运行在云环境上，充分发挥云计算环境的优势，提高GIS服务的计算性能或者节约计算资源[9]。云GIS技术打通了云GIS(服务器)和各种端GIS(桌面GIS和移动端GIS)之间的连通。在大量应用中，GIS要能够提供尽可能瘦的客户端(如WebGL)以尽可能发挥云的计算优势，减少端的安装维护代价。服务器上的GIS软件也不再局限于一套WebGIS或ServiceGIS服务器软件，还要提供云GIS门户软件、云GIS管理服务器软件，以及提高云GIS在有限带宽上高性能运行的CDN服务器或前置服务器软件。
 
跨平台GIS指的是跨硬件设备和操作系统[10]。硬件设备包括各种服务器、桌面电脑和移动设备等;操作系统包括服务器和桌面端用的各种Windows、Linux、UNIX，以及移动端的Andriod和iOS操作系统等。跨平台GIS要解决的实际问题包括3个方面：支持各种常用和主流的服务器，如性能更高和更稳定运行的Linux服务器;支持各种端，尤其是支持离线模式下GIS软件能运行各种端(特别是移动端)的能力;支持自主可控的硬件与软件，如龙芯、飞腾等自主CPU，麒麟等自主操作系统，保障信息安全。
 
新一代三维GIS技术以数据模型、软件内核和软件形态的二三维一体化技术为基础框架，融合了传统手工三维建模技术、倾斜摄影三维技术、激光点云三维技术、BIM与GIS结合的三维技术等，实现了二维与三维一体化，地上与地下一体化，空中与地表一体化，陆地与海洋一体化，室内与室外一体化，宏观与微观一体化[11]。
 
大数据GIS技术是对空间大数据进行包括存储、索引、管理、分析和可视化在内的一系列技术的总称，而不是单纯解决某个环节的问题[12]。能同时具备挖掘和处理传统空间数据和空间大数据的GIS基础软件，才更有生命力。
 
在CCTB这4个方向中，跨平台是典型的需求驱动型，云计算、新一代三维和大数据是信息技术和需求共同驱动。未来一段时间，这四大技术方向还将继续深度影响GIS软件应用的发展。当然，GIS软件还会不断产生新的技术方向，我们需要不断进行相关的研究和探索，保证自身的先进性。
 
4　结束语
 
在过去三十年里，中国GIS基础软件无论在技术上还是市场上都取得了长足的进步。尽管如此，技术发展日新月异，每一轮技术变革，都可能会导致GIS基础软件重新洗牌，进而对GIS应用开发商及最终用户产生深远的影响。我们必须不断进步，在纷繁复杂的方向中选出正确的方向，避免被超越甚至被淘汰;暂时的落后并不可怕，只要抓准新的变革趋势，就有弯道超车的可能。中国GIS软件未来的路还很长，唯有加大投入，坚持自主创新，持续进步，才能做得越来越好。
 
参考文献
 
[1] 王尔琪, 王少华. 未来GIS发展的技术趋势展望[J].测绘通报, 2015(S2);66-69.
 
[2] 龚健雅. 地理信息系统软件的发展趋势与我们的对策[J].地理信息世界, 1997,4(1):3-6.
 
[3] 王欣. 地理信息系统软件-城市之星(Citystar)得到广泛应用[J].地理研究, 1996,15(2):111-113.
 
[4] 李德仁, 龚健雅. GeoStar—中国人为“数字地球”设计的GIS软件[J].遥感信息, 2000,15(2):36-40.
 
[5] 方裕. 中国GIS产业发展的10年[J].地理信息世界, 2004,12(5):36-39.
 
[6] 宋关福, 王康弘, 钟耳顺. SuperMap—融入IT主流的GIS技术[J].地理信息世界, 2003,11(1):49-50.
 
[7] 方裕, 景贵飞. GIS软件测评推动了技术与产品的发展[J].地理信息世界, 2003,11(1):12-15.
 
[8] 钟耳顺. 地理信息系统技术自主创新与产业实践[J].地理信息世界, 2005,13(4):1-5.
 
[9] 王少华 . 超图平台软件创新:超图GIS云分发服务器(SuperMap iExpress)技术简介[J].地球信息科学学报,2016,18(11):1 580-1 586.
 
[10] 蔡文文, 王少华, 钟耳顺, 等. 跨平台开源桌面GIS软件的设计与实现[J].测绘通报, 2017(1):122-125.
 
[11] 宋关福. 十年打造SuperMap三大技术体系[J].地理信息世界, 2011,18(2):83-85.
 
[12] 李清泉, 李德仁. 大数据GIS[J].武汉大学学报:信息科学版, 2014,39(6):641-644.
 
作者简介：
 
宋关福(1969-)，男，重庆人，超图集团总裁，教授级高级工程师，博士，主要从事地理信息软件技术研究工作。
 
通讯作者：
 
李绍俊(1978-)，男，山东即墨人，超图集团高级副总裁，超图研究院院长，教授级高级工程师，博士，主要从事地理信息软件技术研究工作。
 
PDF下载
 上一篇：您正在阅读的是第一篇文章
 下一篇：BIM 和SuperMap三维 GIS融合的技术探索

Hadoop十年解读与发展预测
 
 
摘自 http://www.infoq.com/cn/articles/hadoop-ten-years-interpretation-and-development-forecast
 
 
 编者按：Hadoop于2006年1月28日诞生，至今已有10年，它改变了企业对数据的存储、处理和分析的过程，加速了大数据的发展，形成了自己的极其火爆的技术生态圈，并受到非常广泛的应用。在2016年Hadoop十岁生日之际，InfoQ策划了一个Hadoop热点系列文章，为大家梳理Hadoop这十年的变化，技术圈的生态状况，回顾以前，激励以后。本文是Cloudera资深工程师讲解Hadoop，让您一篇文章就能了解Hadoop的过去和未来。
 
 
 
 “昔我十年前，与君始相识。”
 
 
 ——白居易，《酬元九对新栽竹有怀见寄》
 
 
 
 
 一瞬间Hadoop也到了要初中择校的年龄了。
 
 十年前还没有Hadoop，几年前国内IT圈里还不知道什么是Hadoop，而现在几乎所有大型企业的IT系统中有已经有了Hadoop的集群在运行了各式各样的任务。
 
 2006年项目成立的一开始，“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。到现在的10个年头，这个单词代表的是“核心”（即Core Hadoop项目）以及与之相关的一个不断成长的生态系统。这个和Linux非常类似，都是由一个核心和一个生态系统组成。
 
 
 
 现在Hadoop俨然已经成为企业数据平台的“新常态”。我们很荣幸能够见证Hadoop十年从无到有，再到称王。在我们感动于技术的日新月异时，希望能通过本文能为Hadoop的昨天、今天和明天做出一点自己的解读，算是为Hadoop庆祝10岁生日献上的礼物。
 
 Hadoop编年史
 
 2002年10月，Doug Cutting和Mike Cafarella创建了开源网页爬虫项目Nutch。
 2003年10月，Google发表Google File System论文。
 2004年7月，Doug Cutting和Mike Cafarella在Nutch中实现了类似GFS的功能，即后来HDFS的前身。
 2004年10月，Google发表了MapReduce论文。
 2005年2月，Mike Cafarella在Nutch中实现了MapReduce的最初版本。
 2005年12月，开源搜索项目Nutch移植到新框架，使用MapReduce和NDFS(Nutch Distributed File System )来运行，在20个节点稳定运行。
 2006年1月，Doug Cutting加入雅虎，Yahoo!提供一个专门的团队和资源将Hadoop发展成一个可在网络上运行的系统。
 2006年2月，Apache Hadoop项目正式启动以支持MapReduce和HDFS的独立发展。
 2006年2月，Yahoo!的网格计算团队采用Hadoop。
 2006年3月，Yahoo!建设了第一个Hadoop集群用于开发。
 2006年4月，第一个Apache Hadoop发布。
 2006年4月，在188个节点上（每个节点10GB）运行排序测试集需要47.9个小时。
 2006年5月，Yahoo!建立了一个300个节点的Hadoop研究集群。
 2006年5月，在500个节点上运行排序测试集需要42个小时（硬件配置比4月的更好）。
 2006年11月，研究集群增加到600个节点。
 2006年11月，Google发表了Bigtable论文，这最终激发了HBase的创建。
 2006年12月，排序测试集在20个节点上运行1.8个小时，100个节点上运行3.3小时，500个节点上运行5.2小时，900个节点上运行7.8个小时。
 2007年1月，研究集群增加到900个节点。
 2007年4月，研究集群增加到两个1000个节点的集群。
 2007年10月，第一个Hadoop用户组会议召开，社区贡献开始急剧上升。
 2007年，百度开始使用Hadoop做离线处理。
 2007年，中国移动开始在“大云”研究中使用Hadoop技术。
 2008年，淘宝开始投入研究基于Hadoop的系统——云梯，并将其用于处理电子商务相关数据。
 2008年1月，Hadoop成为Apache顶级项目。
 2008年2月，Yahoo!运行了世界上最大的Hadoop应用，宣布其搜索引擎产品部署在一个拥有1万个内核的Hadoop集群上。
 2008年4月，在900个节点上运行1TB排序测试集仅需209秒，成为世界最快。
 2008年6月，Hadoop的第一个SQL框架——Hive成为了Hadoop的子项目。
 2008年7月，Hadoop打破1TB数据排序基准测试记录。Yahoo!的一个Hadoop集群用209秒完成1TB数据的排序 ，比上一年的纪录保持者保持的297秒快了将近90秒。
 2008年8月，第一个Hadoop商业化公司Cloudera成立。
 2008年10月，研究集群每天装载10TB的数据。
 2008年11月，Apache Pig的最初版本发布。
 2009年3月，17个集群总共24000台机器。
 2009 年3月，Cloudera推出世界上首个Hadoop发行版——CDH（Cloudera's Distribution including Apache Hadoop）平台，完全由开放源码软件组成。
 2009年4月，赢得每分钟排序，59秒内排序500GB（在1400个节点上）和173分钟内排序100TB数据（在3400个节点上）。
 2009年5月，Yahoo的团队使用Hadoop对1 TB的数据进行排序只花了62秒时间。
 2009年6月，Cloudera的工程师Tom White编写的《Hadoop权威指南》初版出版，后被誉为Hadoop圣经。
 2009年7月 ，Hadoop Core项目更名为Hadoop Common;
 2009年7月 ，MapReduce 和 Hadoop Distributed File System (HDFS) 成为Hadoop项目的独立子项目。
 2009年7月 ，Avro 和 Chukwa 成为Hadoop新的子项目。
 2009年8月，Hadoop创始人Doug Cutting加入Cloudera担任首席架构师。
 2009年10月，首届Hadoop World大会在纽约召开。
 2010年5月 ，Avro脱离Hadoop项目，成为Apache顶级项目。
 2010年5月 ，HBase脱离Hadoop项目，成为Apache顶级项目。
 2010年5月，IBM提供了基于Hadoop 的大数据分析软件——InfoSphere BigInsights，包括基础版和企业版。
 2010年9月，Hive( Facebook) 脱离Hadoop，成为Apache顶级项目。
 2010年9月，Pig脱离Hadoop，成为Apache顶级项目。
 2010年-2011年，扩大的Hadoop社区忙于建立大量的新组件（Crunch，Sqoop，Flume，Oozie等）来扩展Hadoop的使用场景和可用性。
 2011年1月，ZooKeeper 脱离Hadoop，成为Apache顶级项目。
 2011年3月，Apache Hadoop获得Media Guardian Innovation Awards 。
 2011年3月， Platform Computing 宣布在它的Symphony软件中支持Hadoop MapReduce API。
 2011年5月，Mapr Technologies公司推出分布式文件系统和MapReduce引擎——MapR Distribution for Apache Hadoop。
 2011年5月，HCatalog 1.0发布。该项目由Hortonworks 在2010年3月份提出，HCatalog主要用于解决数据存储、元数据的问题，主要解决HDFS的瓶颈，它提供了一个地方来存储数据的状态信息，这使得 数据清理和归档工具可以很容易的进行处理。
 2011年4月，SGI（Silicon Graphics International）基于SGI Rackable和CloudRack服务器产品线提供Hadoop优化的解决方案。
 2011年5月，EMC为客户推出一种新的基于开源Hadoop解决方案的数据中心设备——GreenPlum HD，以助其满足客户日益增长的数据分析需求并加快利用开源数据分析软件。Greenplum是EMC在2010年7月收购的一家开源数据仓库公司。
 2011年5月，在收购了Engenio之后， NetApp推出与Hadoop应用结合的产品E5400存储系统。
 2011年6月，Calxeda公司发起了“开拓者行动”，一个由10家软件公司组成的团队将为基于Calxeda即将推出的ARM系统上芯片设计的服务器提供支持。并为Hadoop提供低功耗服务器技术。
 2011年6月，数据集成供应商Informatica发布了其旗舰产品，产品设计初衷是处理当今事务和社会媒体所产生的海量数据，同时支持Hadoop。
 2011年7月，Yahoo!和硅谷风险投资公司 Benchmark Capital创建了Hortonworks 公司，旨在让Hadoop更加可靠，并让企业用户更容易安装、管理和使用Hadoop。
 2011年8月，Cloudera公布了一项有益于合作伙伴生态系统的计划——创建一个生态系统，以便硬件供应商、软件供应商以及系统集成商可以一起探索如何使用Hadoop更好的洞察数据。
 2011年8月，Dell与Cloudera联合推出Hadoop解决方案——Cloudera Enterprise。Cloudera Enterprise基于Dell PowerEdge C2100机架服务器以及Dell PowerConnect 6248以太网交换机。
 2012年3月，企业必须的重要功能HDFS NameNode HA被加入Hadoop主版本。
 2012年8月，另外一个重要的企业适用功能YARN成为Hadoop子项目。
 2012年10月，第一个Hadoop原生MPP查询引擎Impala加入到了Hadoop生态圈。
 2014年2月，Spark逐渐代替MapReduce成为Hadoop的缺省执行引擎，并成为Apache基金会顶级项目。
 2015年2月，Hortonworks和Pivotal抱团提出“Open Data Platform”的倡议，受到传统企业如Microsoft、IBM等企业支持，但其它两大Hadoop厂商Cloudera和MapR拒绝参与。
 2015年10月，Cloudera公布继HBase以后的第一个Hadoop原生存储替代方案——Kudu。
 2015年12月，Cloudera发起的Impala和Kudu项目加入Apache孵化器。
 
 (点击放大图像)
 
 
 
 注：来源网络，不一一列举。
 
 技术篇
 
 (点击放大图像)
 
 
 
 现在Hadoop在一月发布了2.7.2的稳定版， 已经从传统的Hadoop三驾马车HDFS，MapReduce和HBase社区发展为60多个相关组件组成的庞大生态，其中包含在各大发行版中的组件就有25个以上，包括数据存储、执行引擎、编程和数据访问框架等。
 
 Hadoop在2.0将资源管理从MapReduce中独立出来变成通用框架后，就从1.0的三层结构演变为了现在的四层架构：
 
 底层——存储层，文件系统HDFS
 中间层——资源及数据管理层，YARN以及Sentry等
 上层——MapReduce、Impala、Spark等计算引擎
 顶层——基于MapReduce、Spark等计算引擎的高级封装及工具，如Hive、Pig、Mahout等等
 
 (点击放大图像)
 
 
 
 我们欣慰地看到开源文化为Hadoop社区和生态带来的蓬蓬发展，但又确实存在一些碎片化和重复化现象。复杂的生态和过多的组件几乎让很多企业仍然等待一个像以前IBM一样的巨头厂商能提供标准化的解决方案。不过随着围绕Hadoop和Spark的生态圈日益稳固，核心会变得稳定得多。
 
 存储层
 
 HDFS已经成为了大数据磁盘存储的事实标准，用于海量日志类大文件的在线存储。经过这些年的发展，HDFS的架构和功能基本固化，像HA、异构存储、本地数据短路访问等重要特性已经实现，在路线图中除了Erasure Code已经没什么让人兴奋的feature。随着HDFS越来越稳定，社区的活跃度页越来越低，同时HDFS的使用场景也变得成熟和固定，而上层会有越来越多的文件格式封装：列式存储的文件格式，如Parquent，很好的解决了现有BI类数据分析场景；以后还会出现新的存储格式来适应更多的应用场景，如数组存储来服务机器学习类应用等。未来HDFS会继续扩展对于新兴存储介质和服务器架构的支持。随着数据量的增大，跨机房部署相信也终会在基线版本中实现。基于HDFS的存储机制，
 
 将HBase作为存储层似乎有点牵强：其底层使用HDFS作为文件存储。不过在逻辑角度，还是倾向与将HBase定位为存储层或数据访问层，因为其提供了另外一种场景的数据存储和访问方案。2015年HBase 发布了1.0版本，这也代表着 HBase 走向了稳定。最新HBase新增特性包括：更加清晰的接口定义，多Region 副本以支持高可用读，Family粒度的Flush以及RPC读写队列分离等。未来HBase不会再添加大的新功能，而将会更多的在稳定性和性能方面进化，尤其是大内存支持、内存GC效率等。
 
 Kudu是Cloudera在2015年10月才对外公布的新的分布式存储架构，与HDFS完全独立。其实现参考了2012年Google发表的Spanner论文。鉴于Spanner在Google 内部的巨大成功，Kudu被誉为下一代分析平台的重要组成，用于处理快速数据的查询和分析，填补HDFS和HBase之间的空白。其出现将进一步把Hadoop市场向传统数据仓库市场靠拢。
 
 另一方面，分布式内存文件系统也在兴起，旨在消除不同任务或不同计算框架间的数据共享时的转化代价，并提供内存缓存以提高热数据处理性能。这一市场以前使用第三方Redis或Memcached，到后来能为分析提供更多原生支持的Tachyon或Ignite，而现在又迎来了新贵Arrow。
 
 Apache Arrow项目为列式内存存储的处理和交互提供了规范。目前来自Apache Hadoop社区的开发者们致力于将它制定为大数据系统项目的事实性标准。
 
 (点击放大图像)
 
 
 
 Arrow项目受到了Cloudera、Databricks等多个大数据巨头公司支持，很多committer同时也是其他明星大数据项目（如HBase、Spark、Kudu等）的核心开发人员。再考虑到Tachyon等似乎还没有找到太多实际接地气的应用场景，Arrow的高调出场可能会成为未来新的内存分析文件接口标准。
 
 管控层
 
 管控又分为数据管控和资源管控。
 
 随着Hadoop集群规模的增大以及对外服务的扩展，如何有效可靠的共享利用资源是管控层需要解决的问题。脱胎于MapReduce1.0的YARN成为了Hadoop 2.0通用资源管理平台。由于占据了Hadoop的地利，业界对其在资源管理领域未来的前景非常看好。传统其他资源管理框架如Mesos，还有现在兴起的Docker等都会对YARN未来的发展产生影响。如何提高YARN性能、如何与容器技术深度融合，如何更好的适应短任务的调度，如何更完整的多租户支持、如何细粒度的资源管控等都是企业实际生产中迫在眉睫的需求，需要YARN解决。要让Hadoop走得更远，未来YARN需要做的工作还很多。
 
 另一方面大数据的安全和隐私越来越多的受到关注。Hadoop依靠且仅依靠Kerberos来实现安全机制，但每一个组件都将进行自己的验证和授权策略。开源社区似乎从来不真正关心安全问题，如果不使用来自Hortonworks的Ranger或来自Cloudera 的Sentry这样的组件，那么大数据平台基本上谈不上安全可靠。
 
 Cloudera刚推出的RecordService组件使得Sentry在安全竞赛中拔得先机。RecordService不仅提供了跨所有组件一致的安全颗粒度，而且提供了基于Record的底层抽象（有点像Spring，代替了原来Kite SDK的作用），让上层的应用和下层存储解耦合的同时、提供了跨组件的可复用数据模型。
 
 计算引擎层
 
 Hadoop生态和其他生态最大的不同之一就是“单一平台多种应用”的理念了。传的数据库底层只有一个引擎，只处理关系型应用，所以是“单一平台单一应用”；而NoSQL市场有上百个NoSQL软件，每一个都针对不同的应用场景且完全独立，因此是“多平台多应用”的模式。而Hadoop在底层共用一份HDFS存储，上层有很多个组件分别服务多种应用场景，如：
 
 确定性数据分析：主要是简单的数据统计任务，例如OLAP，关注快速响应，实现组件有Impala等；
 探索性数据分析：主要是信息关联性发现任务，例如搜索，关注非结构化全量信息收集，实现组件有Search等；
 预测性数据分析：主要是机器学习类任务，例如逻辑回归等，关注计算模型的先进性和计算能力，实现组件有Spark、MapReduce等；
 数据处理及转化：主要是ETL类任务，例如数据管道等，关注IO吞吐率和可靠性，实现组件有MapReduce等
 …
 
 其中，最耀眼的就是Spark了。IBM宣布培养100万名Spark开发人员，Cloudera在One Platform倡议中宣布支持Spark为Hadoop的缺省通用任务执行引擎，加上Hortonworks全力支持Spark，我们相信Spark将会是未来大数据分析的核心。
 
 虽然Spark很快，但现在在生产环境中仍然不尽人意，无论扩展性、稳定性、管理性等方面都需要进一步增强。同时，Spark在流处理领域能力有限，如果要实现亚秒级或大容量的数据获取或处理需要其他流处理产品。Cloudera宣布旨在让Spark流数据技术适用于80%的使用场合，就考虑到了这一缺陷。我们确实看到实时分析（而非简单数据过滤或分发）场景中，很多以前使用S4或Storm等流式处理引擎的实现已经逐渐Kafka+Spark Streaming代替。
 
 Spark的流行将逐渐让MapReduce、Tez走进博物馆。
 
 服务层
 
 服务层是包装底层引擎的编程API细节，对业务人员提供更高抽象的访问模型，如Pig、Hive等。
 
 而其中最炙手可热的就是OLAP的SQL市场了。现在，Spark有70%的访问量来自于SparkSQL！SQL on Hadoop到底哪家强？Hive、Facebook的Pheonix、Presto、SparkSQL、Cloudera推的Impala、MapR推的Drill、IBM的BigSQL、还是Pivital开源的HAWQ？
 
 这也许是碎片化最严重的地方了，从技术上讲几乎每个组件都有特定的应用场景，从生态上讲各个厂家都有自己的宠爱，因此Hadoop上SQL引擎已经不仅仅是技术上的博弈（也因此考虑到本篇中立性，此处不做评论）。可以遇见的是，未来所有的SQL工具都将被整合，有些产品已经在竞争钟逐渐落伍，我们期待市场的选择。
 
 周边的工具更是百花齐放，最重要的莫过于可视化、任务管理和数据管理了。
 
 有很多开源工具都支持基于Hadoop 的查询程序编写以及即时的图形化表示，如HUE、Zeppelin等。用户可以编写一些SQL或Spark代码以及描述代码的一些标记，并指定可视化的模版，执行后保存起来，就可供其他人复用，这钟模式也被叫做“敏捷BI”。这个领域的商业产品更是竞争激烈，如Tableau、Qlik等。
 
 调度类工具的鼻祖Oozie能实现几个MapReduce任务串连运行的场景，后来的Nifi及Kettle等其他工具则提供了更加强大的调度实现，值得一试。
 
 毫无疑问，相对与传统的数据库生态，Hadoop的数据治理相对简单。Atlas是Hortonworks新的数据治理工具，虽然还谈不上完全成熟，不过正取得进展。Cloudera的Navigator是Cloudera商业版本的核心，汇聚了生命周期管理、数据溯源、安全、审计、SQL迁移工具等一系列功能。Cloudera收购Explain.io以后将其产品整合为Navigator Optimizator组件，能帮助用户把传统的SQL应用迁移到Hadoop平台并提供优化建议，可以节省数人月的工作量。
 
 算法及机器学习
 
 实现基于机器学习的自动的智能化数据价值挖掘是大数据和Hadoop最诱人的愿景了，也是很多企业对大数据平台的最终期望。随着可获得的数据越来越多，未来大数据平台的价值更多的取决于其计算人工智能的程度。
 
 现在机器学习正慢慢跨出象牙塔，从一个少部分学术界人士研究的科技课题变成很多企业正在验证使用的数据分析工具，而且已经越来越多的进入我们的日常生活。
 
 机器学习的开源项目除了之前的Mahout、MLlib、Oryx等，今年发生了很多令人瞩目的大事，迎来了数个明星巨头的重磅加入：
 
 2015年1月，Facebook开源前沿深度学习工具“Torch”。
 2015年4月，亚马逊启动其机器学习平台Amazon Machine Learning，这是一项全面的托管服务，让开发者能够轻松使用历史数据开发并部署预测模型。
 2015年11月，谷歌开源其机器学习平台TensorFlow。
 同一月，IBM开源SystemML并成为Apache官方孵化项目。
 同时，微软亚洲研究院将分布式机器学习工具DMTK通过Github开源。DMTK由一个服务于分布式机器学习的框架和一组分布式机器学习算法组成，可将机器学习算法应用到大数据中。
 2015年12月，Facebook开源针对神经网络研究的服务器“Big Sur”，配有高性能图形处理单元（GPUs），转为深度学习方向设计的芯片。
 
 产业篇
 
 现在使用Hadoop的企业以及靠Hadoop赚钱的企业已经成千上万。几乎大的企业或多或少的已经使用或者计划尝试使用Hadoop技术。就对Hadoop定位和使用不同，可以将Hadoop业界公司划分为四类：
 
 第一梯队：这类公司已经将Hadoop当作大数据战略武器。
 第二梯队：这类公司将Hadoop 产品化。
 第三梯队：这类公司创造对Hadoop整体生态系统产生附加价值的产品。
 第四梯队：这类公司消费Hadoop，并给规模比第一类和第二类小的公司提供基于Hadoop的服务。
 
 (点击放大图像)
 
 
 
 时至今日，Hadoop虽然在技术上已经得到验证、认可甚至已经到了成熟期。但与之对应的以Hadoop为代表的大数据基础平台产业界仍然还在迷茫和探索。虽然大数据的市场很大，但单纯Hadoop产品和服务市场，和传统关系型事务数据库市场相比还不到1%。
 
 虽然很多高调的创业公司上线也拿到引人注目的风险投资，但只是到达大数据部署和早期成熟阶段。
 
 其中最能代表Hadoop发展轨迹的莫过于商业公司推出的Hadoop发行版了。自从2008年Cloudera成为第一个Hadoop商业化公司，并在2009年推出第一个Hadoop发行版后，很多大公司也加入了做Hadoop产品化的行列。“发行版”这个词是开源文化特有的符号，看起来任何一个公司只要将开源代码打个包，再多多少少加个佐料就能有一个“发行版”，然而背后是对海量生态系统组件的价值筛选、兼容和集成保证以及支撑服务。
 
 2012年以前的发行版基本为对Hadoop打补丁为主，出现了好几个私有化Hadoop版本，所折射的是Hadoop产品在质量上的缺陷。同期HDFS、HBase等社区的超高活跃度印证了这个事实。
 而之后的公司更多是工具、集成、管理，所提供的不是“更好的Hadoop”而是如何更好的用好“现有”的Hadoop。
 2014年以后，随着Spark和其他OLAP产品的兴起，折射出来是Hadoop善长的离线场景等已经能够很好的解决，希望通过扩大生态来适应新的硬件和拓展新的市场。
 
 对于开源产品，一直有拥抱开源和提供私有化这两种流派，商业模式要么是提供技术支持服务，要么是提供私有化的增强版本。对于Hadoop的产品化也不例外。但就目前的情况看，曾经私有化Hadoop版本的代表Pivotal和Intel都已经放弃，IBM几乎事实上放弃了自有Hadoop，再考虑到之前Taobao放弃私有Hadoop路线，似乎证明了在像Hadoop这样生态庞大、发展迅速的产品，与局部私有增强带来的好处相比，长期独立站在世界的对立面并不断地与整体社区版本做代码合并似乎是越来越不可承受之痛。
 
 如今，主要的Hadoop产品化厂商只剩下了三家厂商，并且使用了三种截然不同的商业模式。过去几年，虽然尚无任何数据现实三家厂商实现财务盈利，但在资本市场都名声赫赫，且不断收购扩张。从另外一个角度说明，Hadoop市场仍然再初级发展阶段。
 
 Cloudera提出了Hybrid Open Source的架构：核心组件名称叫CDH（Cloudera's Distribution including Apache Hadoop），开源免费并与Apache社区同步，用户无限制使用，保证Hadoop基本功能持续可用，不会被厂家绑定；数据治理和系统管理组件闭源且需要商业许可，支持客户可以更好更方便的使用Hadoop技术，如部署安全策略等。Cloudera也在商业组件部分提供在企业生产环境中运行Hadoop所必需的运维功能，而这些功能并不被开源社区所覆盖，如无宕机滚动升级、异步灾备等。
 
 (点击放大图像)
 
 
 
 Hortonworks采用了100%完全开源策略，产品名称为HDP（Hortonworks Data Platform）。所有软件产品开源，用户免费使用，Hortonworks提供商业的技术支持服务。与CDH相比，管理软件使用开源Ambari，数据治理使用Atlas，安全组件使用Ranger而非Sentry，SQL继续紧抱Hive大腿。
 
 (点击放大图像)
 
 
 
 MapR采用了传统软件厂商的模式，使用私有化的实现。用户购买软件许可后才能使用。其OLAP产品主推Drill，又不排斥Impala。
 
 (点击放大图像)
 
 
 
 不过，三家厂商的处境有所不相同。Hortonworks虽然业绩不断进步，但直到现在仍未能实现盈利。上市后市值未能走高，可见市场对于Hadoop纯服务公司的未来价值增值期望不高。而另厢Cloudera估值近50亿美金，最后一轮收到的来自Intel的7.8亿美元已经超过Hortonworks最近6.8亿的估值，被誉为2016年最有希望上市的高科技软件公司。
 
 现在，Cloudera和Hortonworks的定位已经不是Hadoop发行版软件开发商了，而是现代化的数据管理和分析平台建设厂家，足见其“狼子野心”。
 
 另一方面，传统企业数据管理软件巨头仍然对即有格局信心满满，对于Hadoop产品还是观望态度，通常OEM发行版厂商而非自己研发Hadoop产品，如Oracle、Dell，Teradata公司的大数据一体机都是采用OEM化Cloudera的企业版本产品。
 
 现在主流的公有云如AWS、Azure等都已经在原有提供虚拟机的IaaS服务之外，提供基于Hadoop的PaaS云计算服务。未来这块市场的发展将超过私有Hadoop部署。
 
 作为大数据基础设施平台的Hadoop虽然是技术上是核心，但商业上还只是整个大数据生态系统中非常小的部分，如最新的大数据版图所示：
 
 (点击放大图像)
 
 
 
 应用篇
 
 Hadoop平台释放了前所未有的计算能力，同时大大降低了计算成本。底层核心基础架构生产力的发展，必然带来的是大数据应用层的迅速建立。
 
 对于Hadoop上的应用大致可以分为这两类：
 
 IT优化
 
 将已经实现的应用和业务搬迁到Hadoop平台，以获得更多的数据、更好的性能或更低的成本。通过提高产出比、降低生产和维护成本等方式为企业带来好处。
 
 这几年Hadoop在数个此类应用场景中已经被证明是非常适合的解决方案，包括：
 
 历史日志数据在线查询：传统的解决方案将数据存放在昂贵的关系型数据库中，不仅成本高、效率低，而且无法满足在线服务时高并发的访问量。以HBase为底层存储和查询引擎的架构非常适合有固定场景（非ad hoc）的查询需求，如航班查询、个人交易记录查询等等。现在已经成为在线查询应用的标准方案，中国移动在企业技术指导意见中明确指明使用HBase技术来实现所有分公司的清账单查询业务。
 ETL任务：不少厂商已经提供了非常优秀的ETL产品和解决方案，并在市场中得到了广泛的应用。然而在大数据的场景中，传统ETL遇到了性能和QoS保证上的严重挑战。多数ETL任务是轻计算重IO类型的，而传统的IT硬件方案，如承载数据库的小型计算机，都是为计算类任务设计的，即使使用了最新的网络技术，IO也顶多到达几十GB。采用分布式架构的Hadoop提供了完美的解决方案，不仅使用share-nothing的scale-out架构提供了能线性扩展的无限IO，保证了ETL任务的效率，同时框架已经提供负载均衡、自动FailOver等特性保证了任务执行的可靠性和可用性。
 数据仓库offload：传统数据仓库中有很多离线的批量数据处理业务，如日报表、月报表等，占用了大量的硬件资源。而这些任务通常又是Hadoop所善长的
 
 经常被问到的一个问题就是，Hadoop是否可以代替数据仓库，或者说企业是否可以使用免费的Hadoop来避免采购昂贵的数据仓库产品。数据库界的泰斗Mike Stonebroker在一次技术交流中说：数据仓库和Hadoop所针对的场景重合型非常高，未来这两个市场一定会合并。我们相信在数据仓库市场Hadoop会迟早替代到现在的产品，只不过，那时候的Hadoop已经又不是现在的样子了。就现在来讲，Hadoop还只是数据仓库产品的一个补充，和数据仓库一起构建混搭架构为上层应用联合提供服务。
 
 (点击放大图像)
 
 
 
 业务优化
 
 在Hadoop上实现原来尚未实现的算法、应用，从原有的生产线中孵化出新的产品和业务，创造新的价值。通过新业务为企业带来新的市场和客户，从而增加企业收入。
 
 Hadoop提供了强大的计算能力，专业大数据应用已经在几乎任何垂直领域都很出色，从银行业（反欺诈、征信等）、医疗保健（特别是在基因组学和药物研究），到零售业、服务业（个性化服务、智能服务，如UBer的自动派车功能等）。
 
 在企业内部，各种工具已经出现，以帮助企业用户操作核心功能。例如，大数据通过大量的内部和外部的数据，实时更新数据，可以帮助销售和市场营销弄清楚哪些客户最有可能购买。客户服务应用可以帮助个性化服务; HR应用程序可帮助找出如何吸引和留住最优秀的员工等。
 
 不过，互联网以外的传统行业内部，现在大数据的应用和业务普遍尚处在探索阶段，虽然不少企业已经从数据和深度挖掘数据价值中得到的甜头，但更多的企业在实现数据分析时缺少业务的指导和支撑，可量化可规模化的大数据业务闭环尚未建立，更多是站在改善用户体验等角度改善现有运营效率。
 
 虽然行业性的大数据新兴业务解决方案尚未出现，但很多新兴的公司信心满满的进入这个市场，并收到资本市场的热捧，或提供辅助工具，或提供Big Data-as-a-Service服务，或提供基于大大数据的商业设计咨询，目的是适应大数据以及分析专家和需要他们所服务客户的需求，包括大数据准备评估、路线图、预测操作界面、算法和一些针对特定市场和企业消费分析解决方案等等。如Palantir、营销的大数据分析工具 Qubit、针对CRM领域的人工智能Neokami等等。
 
 为什么Hadoop如此成功？
 
 这个问题似乎是个马后炮，但当我们今天惊叹于Hadoop在短短10年时间取得如此统治性地位的时候，确实会自然而然地思考为什么这一切会发生。基于与同期其他项目的比较，我们认为有很多因素的综合作用造就了这一奇迹：
 
 技术架构：Hadoop推崇的本地化计算理念，其实现在可扩展性、可靠性上的优势，以及有弹性的多层级架构等都是领先其他产品而获得成功的内在因素。没有其他任何一个这样复杂的系统能快速的满足不断变化的用户需求。
 硬件发展：摩尔定律为代表的scale up架构遇到了技术瓶颈，不断增加的计算需求迫使软件技术不得不转到分布式方向寻找解决方案。同时，PC服务器技术的发展使得像Hadoop这样使用廉价节点组群的技术变为可行，同时还具有很诱人的性价比优势。
 工程验证：Google发表GFS和MapReduce论文时已经在内部有了可观的部署和实际的应用，而Hadoop在推向业界之前已经在Yahoo等互联网公司验证了工程上的可靠性和可用性，极大的增加了业界信心，从而迅速被接纳流行。而大量的部署实例又促进了Hadoop的发展喝成熟。
 社区推动：Hadoop生态一直坚持开源开放，友好的Apache许可基本消除了厂商和用户的进入门槛，从而构建了有史以来最大最多样化最活跃的开发者社区，持续地推动着技术发展，让Hadoop超越了很多以前和同期的项目。
 关注底层：Hadoop 的根基是打造一个分布式计算框架，让应用程序开发人员更容易的工作。业界持续推动的重点一直在不断夯实底层，并在诸如资源管理和安全领域等领域不断开花结果，为企业生产环境部署不断扫清障碍。
 
 下一代分析平台
 
 过去的十年中Apache Hadoop社区以疯狂的速度发展，现在俨然已经是事实上的大数据平台标准。我们经历了Hadoop实现这一愿景的巨大进步，见证了Hadoop 如何从一个存储和批处理架构慢慢转变为一个现代化的、模块化的数据平台。三年前，Hadoop通过Impala等分析型SQL引擎实现了互动的数据发现。两年前，Cloudera迎来了Apache Spark，并将其视为Hadoop生态系统的下一代数据处理层，能同时处理各种批次和流工作负载，为开发人员提供更好的易用性和更高的性能。
 
 但仍有更多的工作要做！
 
 大数据应用未来的价值在于预测，而预测的核心是分析。下一代的分析平台会是什么样呢？它必定会面临、同时也必须要解决以下的问题：
 
 更多更快的数据。未来的大数据来源更多的是来自物联网（IoT，Internet of Things），将有超过160亿的设备联网并不断产生数据。数据量更大，而且对数据处理的实时性要求的更高。
 更新的硬件特性及架构。Hadoop、Spark等技术兴起的重要推动原因都是硬件的发展。现在摩尔定律已经退出历史舞台，未来硬件架构可能呈现多样化发展，可靠性越来越高，存储和计算成本继续降低，内存的容量和速度越来越快，持久化或非挥发性存储的发展会对现有的存储设计带来新的技术和架构。
 更高级的分析。技术的发展背后总是业务需求的驱动。但现在的大数据项目多是初级阶段的IT系统，目的是解决目前IT有限的能力限制和成本压力，并非针对业务创造新的价值，甚至没有对业务有直接互动和反馈。未来的需求是要使用实时数据建立更好的模型，使用机器学习等高级数据分析技术，能够改善用户体验、优化业务运营，实现大数据业务的闭环。
 更安全。随着企业希望能把手里的数据资源开放变现，但频发的安全事故又让企业驻足不前，很少有人敢冒风险进行开放尝试。需要通过安全机制实时地保护用户和企业的资产；通过行为分析和稽查保证流程的正确性和结果的可信性。
 
 因此，未来的几年，我们会继续见证“后Hadoop时代”的下一代企业大数据平台：
 
 1. 内存计算时代的来临。随着高级分析和实时应用的增长，对处理能力提出了更高的要求，数据处理重点从IO重新回到CPU。以内存计算为核心的Spark将代替以IO吞吐为核心的MapReduce成为分布式大数据处理的缺省通用引擎。做为既支持批处理有支持准实时流处理的通用引擎，Spark将能满足80%以上的应用场景。Cloudera公司近日公布了One Platform的倡议，推动Spark成为Hadoop的默认数据处理引擎。为了最终取代MapReduce，Cloudera集中力量推动解决Spark现在企业大规模应用时在四个关键领域仍然存在的短板：管理，安全，规模和流。
 然而，Spark毕竟核心还是批处理，擅长迭代式的计算，但并不能满足所有的应用场景。其他为特殊应用场景设计的工具会对其补充，包括：
 
 a) OLAP。OLAP，尤其是聚合类的在线统计分析应用，对于数据的存储、组织和处理都和单纯离线批处理应用有很大不同。以Impala为代表的SQL-on-Hadoop引擎借鉴了传统数据处理和MPP等技术，底层使用HDFS存储，是传统BI系统很好的替代方案候选。
 
 b) 知识发现。与传统应用解决已知问题不同，大数据的价值在于发现并解决未知问题。因此，要最大限度地发挥分析人员的智能，将数据检索变为数据探索。Apache Solr项目是一个功能丰富的可扩展的搜索解决方案，内包括了Apache Lucene和Apache Tika。Cloudera的Search将Solr集成到了Hadoop，并使用高度自动化的流水线为Hadoop上的数据创建索引，在提高部署效率的同时，提供了更加直观方便的大数据平台搜索引擎。
 
 2. 统一数据访问管理。现在的数据访问由于数据存储的格式不同、位置不同，用户需要使用不同的接口、模型甚至语言。同时，不同的数据存储粒度都带来了在安全控制、管理治理上的诸多挑战。未来的趋势是将底层部署运维细节和上层业务开发进行隔离，因此，平台需要系统如下的功能保证：
 
 a) 安全。能够大数据平台上实现和传统数据管理系统中相同口径的数据管理安全策略，包括跨组件和工具的一体化的用户权利管理、细粒度访问控制、加解密和审计。
 
 b) 统一数据模型。通过抽象定义的数据描述，不仅可以统一管理数据模型、复用数据解析代码，还可以对于上层处理屏蔽底层存储的细节，从而实现开发/处理与运维/部署的解偶。
 
 Cloudera最近发布的RecordService正是为此而生。Apache Sentry是Hadoop生态中负责跨组件统一访问控制的安全解决方案。RecordService和Sentry等组件结合，提供了跨整个平台的细粒度的统一访问控制策略，消除了Hive、HBase等组件分散而差异的访问粒度控制。DFS执行的新的核心服务。同时RecordService屏蔽了底层存储细节，向上暴露基于记录的面向对象的数据描述，为编程人员提供了更好的封装和抽象。
 
 3. 简化实时应用。现在用户不仅关心如何实时的收集数据，而且关心同时尽快的实现数据可见和分析结果上线。无论是以前的delta架构还是现在lambda架构等，都希望能够有一种解决快速数据的方案，使用HDFS和HBase的混合体，在快速更新数据的同时进行快速分析，然而结果复杂的架构令人望而却步，无论开发还是运维都不胜其繁。Cloudera最新公开的Kudu虽然还没有进入产品发布，但却是现在解决这个问题可能的最佳方案：采用了使用单一平台简化了快速数据的“存取用”实现，是未来日志类数据分析的新的解决方案。
 
 最近新面世的这些项目将彻底改变Hadoop的存储架构,进一步巩固其安全基础，推动Hadoop不断发展和扩大，成为新一代的现代分析的领先平台。
 
 下一个十年
 
 Hadoop的未来是什么样的？10年以后大数据是不是已经进博物馆了？会不会有一个新公司成为数据管理界的新的巨头，犹如今日的Oracle？会不会有高富帅的企业已经有百万、千万甚至更多机器组成的数据中心？
 
 有许多的可能，但我们相信Hadoop所“发明”的分布式计算框架仍然会是大数据的核心标志。
 
 10 年前谁也没有料想到 Hadoop 能取得今天这样的成就，而如今一切均在眼前。Hadoop 之父 Doug Cutting 则认为 Hadoop 正处于蓬勃的发展期，而且这样的蓬勃发展至少还可以持续几十年。
 
 10年以后的Hadoop应该只是一个生态和标准的“代名词”了，下层的存储层不只是HDFS、HBase和Kudu等现有的存储架构，上层的处理组件更会像app store里的应用一样多，任何第三方都可以根据Hadoop的数据访问和计算通信协议开发出自己的组件，用户在市场中根据自己数据的使用特性和计算需求选择相应的组件自动部署。
 
 当然，有一些明显的趋势必然影响着Hadoop的前进：
 
 云计算 
 现在50%的大数据任务已经运行在云端，在3年以后这个比例可能会上升到80%。Hadoop在公有云的发展要求更加有保障的本地化支持。
 
 硬件 
 快速硬件的进步会迫使社区重新审视Hadoop的根基。回顾历史，任何一次硬件的革新都会翻开软件业的新篇章。现在CPU发展摩尔定律已经退出历史舞台，但新型的硬件，如3D point等即将登场企业数据中心。现在虽然尚未有与之相应的软件产品，但必然会出现，而Hadoop社区也绝不会袖手旁观。
 
 物联网 
 物联网的发展会带来海量的、分布的和分散的数据源。Intel CEO预测2020年将有500亿设备联网，会带来50万亿GB的数据；世界经济论坛预测2022年将有1万亿传感器入网；按照梅特卡夫定律，5年后全球IoT自动服务网的总体价值将是现在的517倍。Hadoop将适应这种发展。
 
 
 以后的十年会发生什么？以下是笔者的一些猜想：
 
 SQL和NoSQL市场会合并，NewSQL和Hadoop技术相互借鉴而最终走向统一，Hadoop市场和数据仓库市场会合并，然而产品碎片化会继续存在。
 Hadoop与其他资源管理技术和云平台集成，融合docker和unikernal等技术统一资源调度管理，提供完整多租户和QoS能力，企业数据分析中心合并为单一架构。
 企业大数据产品场景化。以后直接提供产品和技术的公司趋于成熟并且转向服务。越来越多的新公司提供的是行业化、场景化的解决方案，如个人网络征信套件以及服务。
 大数据平台的场景“分裂”。与现在谈及大数据言必称Hadoop以及某某框架不同，未来的数据平台将根据不同量级的数据（从几十TB到ZB）、不同的应用场景（各种专属应用集群）出现细分的阶梯型的解决方案和产品，甚至出现定制化一体化产品。
 
 无论10年或20年后的Hadoop看起来像什么样，无可质疑的是由于数据量、数据种类和数据速度的提升会带来更强大的使用用例。如何把原始数据转化为可执行的洞察力将是最清晰最有力的推动力量。正如Cloudera的首席科学家、Hadoop的创始人Doug Cutting所说：“我们在本世纪取得的大部分进展将来自于对所产生的数据的理解的增加。”
 
 后记
 
 笔者水平有限，加之时间紧迫，肤浅粗糙之处，还请各位读者原谅和指教。文中有些内容引自网络，某些出处未能找到，还请原作者原谅。
 
 Hadoop的组件生态组件太多，参加Cloudera的全套Hadoop课程就需要花费1个月以上的时间，让人“累觉不爱”J。本文中只是蜻蜓点水，很多东西尚未详述，请参见相关产品手册。
 
 欢迎访问网站，观看Doug Cutting关于Hadoop十年的视屏。
 
 大数据的明天是美好的，未来Hadoop一定是企业软件的必备技能，希望我们能一起见证。
 
 参考资料
 
 Is Big Data Still a Thing? (The 2016 Big Data Landscape)
 解读2015之大数据篇：大数据的黄金时代
 Happy 10th Birthday, Apache Hadoop
 大象的崛起！Hadoop七年发展风雨录
 
 个人简介
 
 陈飚，Cloudera售前技术经理、行业领域顾问、资深方案架构师，原Intel Hadoop发行版核心开发人员。2006年加入Intel编译器部门从事服务器中间件软件开发，擅长服务器软件调试与优化，曾带领团队开发出世界上性能领先的 XSLT 语言处理器。2010 年后开始Hadoop 产品开发及方案顾问，先后负责Hadoop 产品化、HBase 性能调优，以及行业解决方案顾问，已在交通、通信等行业成功实施并支持多个上百节点Hadoop 集群。
 

未来全球工业机器人主要有以下趋势：
 
（1）机器人与信息技术深入融合
 
大数据和云存储技术使得机器人逐步成为物联网的终端和节点。信息技术的快速发展将工业机器人与网络融合，组成复杂性强的生产系统，各种算法如蚁群算法、免疫算法等可以逐步应用于机器人应用中，使其具有类人的学习能力，多台机器人协同技术使一套生产解决方案成为可能。
 
（2）机器人产品易用性与稳定性提升
 
随着机器人标准化结构、集成一体化关节、自组装与自修复等技术的改善，机器人的易用性与稳定性不断被提高。
 
一是机器人的应用领域已经从较为成熟的汽车、电子产业延展至食品、、化工等更广泛的制造领域，服务领域和服务对象不断增加，机器人本体向体积小、应用广的特点发展。
 
二是机器人成本快速下降。和工艺日趋成熟，机器人初期投资相较于传统专用设备的价格差距缩小，在个性化程度高、工艺和流程繁琐的产品制造中替代传统专用设备具有更高的经济效率。
 
三是人机关系发生深刻改变。例如，工人和机器人共同完成目标时，机器人能够通过简易的感应方式理解人类语言、图形、身体指令，利用其模块化的插头和生产组件，免除工人复杂的操作。现有阶段的人机协作存在较大的安全问题，尽管具有视觉和先进传感器的轻型工业机器人已经被开发出来，但是目前仍然缺乏可靠安全的工业机器人协作的技术规范。
 工业机器人四种编程技术
http://www.duozhishidai.com/article-15634-1.html
 如何找一家靠谱的工业机器人培训机构？
http://www.duozhishidai.com/article-10641-1.html
 做人工智能和机器人需要研究哪些领域？
http://www.duozhishidai.com/article-8491-1.html
 
 
多智时代-人工智能和大数据学习入门网站|人工智能、大数据、物联网、云计算的学习交流网站
 
 
  

 简介：7月11日，为期三天的世界人工智能大会（WAIC）成功落幕，三天的时间里，围绕人工智能，全世界最前沿的技术和商业力量在上海汇聚、交流和呈现未来世界的蓝图。




7 月 11 日，为期三天的世界人工智能大会（WAIC）成功落幕，三天的时间里，围绕人工智能，全世界最前沿的技术和商业力量在上海汇聚、交流和呈现未来世界的蓝图。
在大会结束后，「DoNews」为此整理了 WAIC 上大家最受关注的话题，并将相关的讨论和意见整理，供读者参考。
现在 AI 发展到了什么阶段？
在 WAIC 大会首日，作为第一位发表演讲嘉宾，李彦宏将人工智能的发展分为三个阶段，其中第二个阶段是“经济的智能化”——随着移动互联网的发展，人类产生的有效数据成指数级上升，云计算的发展则提供了海量计算所需的算力，加上经济和社会普遍的数字化和互联网化所创造的基础环境，人工智能终于得以开始在广泛的经济领域施展魔力。
他将这一阶段细分为两个子阶段，在前半段，人工智能的发展主要围绕通用能力的开发和作为一种资源的 AI 能力的平台化，以及在智能搜索和信息流推荐这两个标志性行业的应用；在后半段，人工智能开始全面的产业化，也就是行业应用与商业化的全面普及。目前，李彦宏认为，人类正处于从经济智能化的前半段向后半段过渡的时期。
这一观点和不少嘉宾的看法不谋而合。科大讯飞董事长刘庆峰表示，人工智能早已从核心技术算法创新的关键时期，到了典型行业的试点应用突破，现在开始进入到大规模应用阶段。曾担任微软亚洲研究院院长的创新工场创始人及首席执行官李开复，认为目前是从“AI+”向“+AI”时代转移的时期。
李开复表示，过去几年来AI从技术驱动向商业驱动转型，产业化和商业化速度越来越快。“AI+”时代的早期 AI 公司以技术为主，以天才科学家为核心创业，由于懂 AI 人才非常少，所以AI天才们被资本支持，成立 AI 公司。随着AI人才越来越多，工具越来越普及，以及更多传统公司开始思考该怎么样融入 AI，我们正式进入“+AI”时代。
“AI +”时代是以AI工程师和科学家为核心来寻找商业机会，“+ AI”是针对传统应用去产生价值，必须和传统公司来合作，甚至由传统公司来主导的 AI 应用。李开复预测，大概 5 年后，AI 就会像今天的 IT 一样变得无处不在。
“5G+AI”能带来什么？
5G 正在加速发展，目前已经有 79 个 5G 的项目在 24个国家开展，GSMA 首席执行官洪曜庄在演讲中预测，到 2025 年，5G 的连接将会占到全球的 20%，包括亚洲、北美和欧洲，运营商在未来五年将会投资 1.1 万亿美元，其中 80% 将会用于 5G 的网络。
中国移动总经理董昕表示，目前中国移动居于全球 5G 运营商的第一阵营，已建成超过 14 万个 5G 基站，在超过 50 个城市提供 5G 商用服务，正加速推动5G技术创新和标准成熟。未来中国移动将加快促进5G网络和云、边、端等基础设施的智能化演进，最大程度释放云网的综合效能。
“5G 和 AI 的融合将引发链式变革，产生成熟效应，加速万物互联、万物感知 、万物智能，对经济社会数字化转型产生深远的影响。”董昕介绍，中国移动正在努力实现 AI 规模化的商业价值和技术价值。
商业价值的实现，对个人用户会通过赋能智能家居、云游戏 、多形态直播、视频精准推送、3D 体感游戏等业务，提供沉浸式娱乐体验；对行业用户，会提供安防监控、智能巡检、工业质检等智能化解决方案，来助力产业升级、产品开发和服务创新。
实现 AI 规模化的技术价值，则是全方位布局 AI 基础设施，构建全球领先的智慧云网，将 AI 融入到 5G 网络规划、建设、优化和运维的全生产周期，搭建网络智能化开放创新平台，推动网络智能化应用和规模化部署，使 5G 网络更聪明，并将 AI 融入移动云，推进大规模算力建设。
美国高通公司总裁安蒙（Cristiano R. Amon）表示，5G 具有光纤般的连接速度和低时延，加上先进的处理能力，将使边缘终端变得更加智能，而为了实现 AI 规模化，我们必须在整个网络实现分布式智能。“现在，智能广泛应用于云端，并且逐渐在终端侧加强应用，未来数十亿边缘终端将创造海量的数据，边缘云需要创新，在流量所在的地方对数据进行处理。”
对AI发展的建议
随着人工智能对产业的影响不断深化，对人工智能的担忧也在不停的增长，人工智能伦理也成为本次WAIC大会重点讨论的话题，而全球化的人工智能标准的建立，也成为被推动的重点议题。
黑石集团创始人、董事长苏世民表示，为了所有人的利益，各国应该共享在人工智能等领域的最佳实验和最新经验 ，从而推动人工智能发展和应用。对于近年来世界上许多组织在发布的人工智能发展原则和指南，他提出了5个原则。
 第一个原则，透明。让每个问题都可以实时监督、可审计，并且比较容易进行设计，人工智能系统和软件不能简简单单只是个黑盒子，必须容易理解、核实和应用。
 第二个原则，公平。技术不能加强、加剧和进一步导致偏见，相反应该具有包容性，并且尽可能多的让更多人受益。
 第三个原则，安全。人工智能技术不能够造成可预见的或者不可预见的无意伤害，人工智能的设计应该是可靠的，并且对于故意破坏是有抵御能力和有韧性的。
 第四个原则，责任。如果由于人工智能系统出错造成了破坏，那就需要有清晰的责任，并且在适用的情况下采取强制性的补救措施，研究人员、开发人员需要考核任何人工智能的技术，并且表明他们已经采取技术行动来降低人工智能潜在的风险。
 第五个原则，隐私。由于很多人工智能的应用都有赖于数据，因此需要有一套机制来保护人们的权益和个人隐私。人工智能系统需要以易于理解的方式披露它是如何使用 、储存和保护个人信息的，用户也应该可以非常轻松地撤销人工智能系统对其个人信息的使用授权。
苏世民表示，越早通过共同的治理结构来统一和应用这些原则，我们就越有可能避免人工智能可能带来的负面影响。
华为公司副董事长兼 CIO 陶景文对人工智能共同的治理结构有类似看法， 他认为政府、行业协会和个人组织应该加强政策的统筹、AI 的立法，各个行业和产业联盟要加强共识，形成数据交换和这些标准。由于企业需要好的人工智能技术和产品解决方案，技术也需要相应企业和用户的场景去验证，算法需要数据和业务场景去进行持续优化，所以华为呼吁在人工智能产业链上要加强政府、企业、技术、算法和专业技术方面的合作。
对用户隐私的保护，是本次 WAIC 上的重要话题，除了在 AI 治理上加以限制外，从技术的角度参会嘉宾也同样给出了解决方案。
在今年年初，AI创业公司第四范式的机器学习平台“先知”通过欧盟GDPR认证，这也是国内第一款通过该认证的AI平台产品。创始人兼首席执行官戴文渊表示，AI基于数据得出的结论被应用的前提是，这些结论并没有记录个人具体的数据。由于目前可用的高质量数据比较稀缺，因此通过迁移学习把数据中的知识从一个领域迁移新的领域，就成为兼顾AI应用效果和隐私保护的新突破。
除此之外，他认为数据科学家门槛高、数量少以及AI算力成本是目前AI发展的另外两个重要挑战，这也被其他不少嘉宾提到过。对此戴文渊认为，通过自动机器学习（AutoML）来降低技术复杂性，让普通开发者也能够开发好人工智能，以及采用软硬件深度融合优化的方式来提高性能和降低成本，是解决这两个挑战的可行之策。
面对与之类似的挑战，AWS全球副总裁斯瓦米·西瓦苏布拉曼尼通过多年来与客户的交流，从企业组织架构和运营的层面，总结了做好机器学习非常重要的四点：
第一，数据，机器学习要让数据组织有序，这是第一位的。
第二，了解在何处应用机器学习。
第三，应对技能差距——现在能够建立模型人才还不多。
第四，不做没有意义的繁重工作。
对于考虑引入 AI 的传统企业，李开复给出的建议是，首先评估公司是否需要引入 AI，这主要包括三点：
第一，公司是成长型的，有张或者需要降低成本的商业需求；
第二，公司本身数据化程足够高，能够与 AI 整合创造真实的商业价值；
第三，公司有足够好的文化，愿意来改造自己。
对于满足这些条件的公司，李开复给出四个可以让 AI 产生价值的方法：
第一，用 AI 省钱；
第二，用 AI 简单替代一个环节；
第三，用 AI 改造公司比较重要的几个流程；
第四，用 AI 重构整个行业。
十年后的AI会发展到什么阶段？
据普华永道(PWC)预测，人工智能在2030年，将给世界带来100万亿人民币的经济价值。李开复表示，未来10年，将有更多的传统行业，如制造业、医疗行业、教育业等，面临下一阶段的效率提升，这会是整个经济提升的最巨大的机会。
对此，不同行业的商业领袖也提出各自不同角度的看法。华为公司副董事长兼CIO陶景文认为，随着人工智能还有数字技术大量的使用，到2025年，世界上会诞生一个超过12万亿的市场空间。比如说ICT行业大概会有5万亿的规模，零售业会有1.5万亿的规模，智能制造大概会有6.4万亿的规模。
科大讯飞董事长刘庆峰表示，未来十年将是属于人工智能的新十年，并将有三个标志：第一，用人工智能可以真正地给民生事业补短板，从教育、医疗、城市大脑到司法等领域，解决社会刚需问题；第二，可以用人工智能赋能每个人，让每个人因 AI 而能，比如翻译机具备更强的能力等；第三，人工智能通过核心能力和依据情感与人文的不断迁移，全面支撑并且引领线上和线下相结合的未来十年的数字化生存。
依图创始人兼 CEO 朱珑则展开了另一个角度的畅想，他认为未来十年 AI 算力会进入超摩尔时代，今天城市管理所需要的几万、十几万路视频计算，只要在巴掌大芯片上可以支撑。
1943 年，IBM 董事长托马斯.沃森曾提出，未来全球只需要 5 台计算机，而今一台普通的智能手机，计算力都是曾经协助美国宇航局登月计划那台计算机的几十万倍。如今，仅中国每年就生产微型计算机 3.11 亿台、服务器约 300 万台，智能手机的年产量高达 17.2 亿部。
此外，还有海量并还在快速增长中的各类智能设备。目前，全球世界上最快的超级计算机 Summit，运算速度达到了每秒20亿次，由IBM打造，但显然今天的IBM不会轻易宣称，未来的世界只需要五台计算机。
实际在 WAIC 大会的首日，IBM 大中华区集团董事长陈黎明在演讲中表示：“对于任何一项科技精准的预测都意味着风险，都可能为后人留下笑柄。”每一项技术从孕育开发到应用普及，都有其自身的发展规律，过于关注其当下能带来什么，而忽略科技的发展规律和长期影响，是不可取的。
对于人工智能，我们的了解永远是不够的，即使是在 WAIC 这样汇聚了全球最尖端 AI 人才和最前沿 AI 科技的盛会上，不过我们可以知道的是，人工智能仍在其快速发展的阶段，并可预见地将深度影响我们的世界。
而抓住这一关键的历史机遇，就如同历次工业革命一样，也许中间会有无数次的试错和弯路，但当学者和企业家们预言中 AI 规模化的时代来临时，也能在漫长的投入与探索之后，获取科技带来的重大红利。


文章来源：https://yqh.aliyun.com/detail/15839
原文链接：https://developer.aliyun.com/article/767818?

 版权声明：如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件至：developerteam@list.alibaba-inc.com 进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容。