订阅云计算RSS CSDN首页> 云计算

数据库技术大牛Michael Stonebraker谈新时代应用底层

发表于2014-10-29 09:04| 次阅读| 来源CSDN| 0 条评论| 作者邵红叶

摘要:2014中国大数据技术大会正在邀请数据库技术大牛Michael Stonebraker,带大家走进大数据的精彩世界、领略数据库之美。他认为大数据有四种含义:大数据量、“小分析学”;对大量数据使用大分析学;大速度;大多样性。

Michael Stonebraker,数据库领域的布道者,著名的数据库科学家,美国工程院院士,冯诺依曼奖的获得者,第一届SIGMOD Edgar F. Codd创新奖的得主,曾担任Informix CTO。他在1992年提出对象关系数据库模型,在加州伯克利分校任计算机教授达25年,更是众多数据库公司的创始人之一,其中包括Ingres、Illustra、Cohera、StreamBase Systems和Vertica等,目前是麻省理工学院教授,所参与的项目包括:Aurora,C-Store,H-Store,Morpheus,以及SciDB系统等。

Stonebraker是SQL Server/Sysbase奠基人,87年左右,Sybase联合了微软,共同开发SQL Server。原始代码的来源与Ingres有些渊源。后来1994年,两家公司合作终止。此时,两家公司都拥有一套完全相同的SQLServer代码。也可以认为,Stonebraker教授是目前主流数据库的奠基人。

2014年12月12-14日北京召开的2014中国大数据技术大会(暨第二届CCF大数据学术会议)正在邀请数据库领域的布道者Michael Stonebraker,希望能有机会带大家领略大数据时代数据库领域的最前沿思想。

数据库领域的布道者Michael Stonebraker

2012年,他发现一个有趣的现象:相当一部分计算机学团体已重新制定了其研究课题,并加盟到了“大数据”大旗麾下,发觉大数据已然成为最时髦的术语。他结合自己在数据库(根据定义,数据库就是处理大数据的)领域侵淫多年,特撰写了四篇博文来解释他对“大数据”的理解。

他对大数据有如下四种含义:

大数据量、“小分析学”。此处的目标是对极大量的数据集使用SQL。对大数据集,没有人会用“Select *”来查询因为其返回太子节(terabyte)的数据使接收者无法应付。替代方案,则是对海量数据把注意力放在SQL的分析功能上,如count、sum、max、min、avg等,可辅之以group_by。我将此称作“小分析学”,以便把这个用例(use case)区别于下面的场合。

对大量数据使用大分析学。“大分析学”在此的含义是:对海量数据施用数据聚类(clustering)、回归分析、机器学习、以及其他更为复杂的分析手段。目前,用户倾向于采用统计学软件包如R、SPSS、SAS等来实现。其他方案是使用线性代数软件包,例如:ScalaPack或Arpack。最后,也有大量自行开发的代码在使用中。

大速度。其含义是:对电子交易、实时网页广告投放、实时客户针对营销、移动社交网络等应用,能够吸收并处理“灭火水龙带”式的数据涌入。此用例在大型网站公司和华尔街盛行,二者都倾向于自行开发。

大多样性。许多企业面临整合日益扩大的多种数据源,而数据格式千差万别,例如:电子表格、网页、XML、传统的关系型数据库等。许多企业认为这是最头疼的问题。从历史上来说,萃取、转置、加载(ETL)供应商在此市场上对有限的数据源曾提供服务。

他第一篇博文中专门讨论了大量数据的小分析学,尔后的三篇博文将运用实例论及其他三点,感兴趣的可以到Stonebraker的博客查看。(原文链接: ) 

去年底,Stonebraker还参加了一期 Structure Show,谈论自己对数据库市场的观点,包括NoSQL和Oracle的未来,当然还有Facebook的MySQL问题。若使用或研究数据库技术的人想听整个访谈,请点击 这里。以下是一些精华摘要:

1. 单一模式不能包打天下:“任何我可以想到的垂直市场,相比传统的关系型数据库系统,总会有一些更合适的解决方案。”Stonebraker 如是说。事实上,这是他一贯的主张。但今时今日这一主张看起来更有说服力了。现在有用于数据分析的列存储架构,用于交易的内存架构,当然也有用于简单的键值操作及新数据类型的NoSQL架构。甚至图形数据库都开始步入商用。

2. 数据库领域可以有很多赢家:“将有3到5个,甚至6个非常不同的数据库系统架构成为赢家,而在每一类下都会有2到3个成功的供应商。”Stonebraker预测:“我的核心观点是,传统的关系型数据库系统将慢慢收缩,这一切转变也许需要十年。”

3. NoSQL会被广泛接受:“我的预测是NoSQL将意味着不止SQL。”Stonebraker说,“Cassandra和MongoDB已经宣布了类似这样的东西,如果你放下你的偏见,那么这种高级语言基本上就是SQL。”人们已经不那么看好单纯的底层语言的价值。Stonebraker认为NoSQL系统将来也要拥抱ACID。而这一切可能正在发生。

4. Oracle将感受到来自SAP的压力:“我觉得另一个非常有趣的事是SAP在数据库领域还没有得到很多关注,现在SAP的客户同时也是Oracle最大的客户。”Stonebraker说:“在这些巨头中,Oracle和SAP会好好地干上一架。”

现在说这个可能有点早了,我们也不知道SAP的客户将如何回应切换数据库的游说。不过Stonebraker补充说:“我的预期是,SAP会给客户一个信服的理由,让他们从Oracle迁移到HANA。”

5. Facebook会继续寻找MySQL的替代品,不过可能劳而无功:“Facebook面对的是这个星球上最难的数据管理问题之一。”Stonebraker说。“他们花了数年的时间尝试从MySQL迁移到别的系统,但是到目前为止还没有发现可以匹配他们规模的替代品。” 

相比几年前的观点,Stonebraker现在的主张已经有所缓和。可能这是因为Facebook分享了他们在MySQL上做的一些努力,包括为了维持MySQL系统的运行所作的精妙的配置。然而这一缓和,与其说是对MySQL的支持,不如说是对Facebook的数据库改造的认同。

最后,Stonebraker的总结一如既往的幽默:“传统的数据库销售商提供的产品,它们的代码基础和25年前一样,现在正让它们退休的时候了。 (责编/仲浩)

更多讲师和日程信息请关注2014中国大数据技术大会(暨第二届CCF大数据学术会议)官网。另门票折扣时日已然不多,预购从速


免费订阅“CSDN云计算(左)CSDN大数据(右)”微信公众号,实时掌握第一手云中消息,了解最新的大数据进展!

CSDN发布虚拟化、Docker、OpenStack、CloudStack、数据中心等相关云计算资讯,     分享Hadoop、Spark、NoSQL/NewSQL、HBase、Impala、内存计算、流计算、机器学习和智能算法等相关大数据观点,提供云计算和大数据技术、平台、实践和产业信息等服务。        

0
0