订阅云计算RSS CSDN首页> 云计算

【BDTC讲师】Hortonworks Gunther&Ted:HBase、Stinger的发展与实践

发表于2013-11-22 17:28| 次阅读| 来源CSDN| 0 条评论| 作者仲浩

摘要:12月5-6日召开的2013中国大数据技术大会上,Hortonworks技术总监Gunther Hagleitner及在该公司供职的HBase核心贡献者Ted Yu,将为我们分享最新的Hadoop趋势及在Hortonworks的最佳实践。

在之前的报道中我们有提过,HBase有着优秀的血统——Google BigTable的开源实现,在推广上与Hadoop的天然集成更是让其占尽优势。然而拥有如此大优势的HBase,在列存储领域的人气仍不如Cassandra。而在Hadoop 2.0版本发布之前,唱衰这头大象的声音也随处可见。在BDTC 2013上,我们有幸邀请到了Hortonworks技术总监Gunther Hagleitner及在该公司供职的HBase核心贡献者Ted Yu,为我们分享最新的Hadoop趋势及在Hortonworks的最佳实践。

Hortonworks技术总监Gunther Hagleitner分享如何使用Hive和Stinger在Hadoop中实现PB级的SQL

着眼Gunther的LinedIn履历我们会发现,自2002年起,Gunther分别供职于IBM、Yahoo!、Amazon Lab 126等多家知名公司或机构,现致力于Stinger、Pigs及Hadoop等项目。

图:Stinger Initiative的roadmap

在Hortonworks之前的介绍中,某些测试下,Stinger能提升10倍左右的性能,同时会让Hive支持更多的SQL,其主要优点包括:

  • 让用户在Hadoop获得更多的查询匹配。其中包括类似OVER的字句分析功能,支持WHERE查询,让Hive的样式系统更符合SQL模型。
  • 优化了Hive请求执行计划,优化后请求时间减少90%。改动了Hive执行引擎,增加单Hive任务的被秒处理记录数。
  • 在Hive社区中引入了新的列式文件格式(如ORC文件),提供一种更现代、高效和高性能的方式来储存Hive数据。
  • 引入了新的运行时框架——Tez,旨在消除Hive的延时和吞吐量限制。Tez通过消除不必要的task、障碍同步和对HDFS的读写作业来优化Hive job。这将优化Hadoop内部的执行链,彻底加速Hive负载处理。

与Stinger拥有类似功能的有Cloudera的Impala,还有社交巨头Facebook近日推出的新一代查询引擎Presto。Gunther将告诉我们,面对如此多竞争对手,Stinger杀手级应用场景究竟在何处,Stinger又是如何斩获Hadoop中的PB及SQL。

HBase核心贡献者Ted Yu剖析HBase的最新技术发展和趋势

双亲都是计算机技术方面的工程师,Ted Yu出生在一个计算机科学氛围很浓郁的家庭。在高中毕业后,Ted果断的选择了清华大学计算机技术及科学专业。如今Ted已经拥有15年以上的软件开发经验,而早在2011年,它就成为HBase的代码提交者和PMC成员。值得注意的是,HBase代码提交者至今仍不足40人。


总结了多年的开发生涯,Ted认为,大部分情况下遇到的困难都不是技术性的。只要团队的目标一致,观点的差异总是可以解决的。

Ted非常执着于开源,首次听说Hadoop后就进行了采用。而在HBase方面,Ted做出了大量的贡献。Ted一直坚信,解决社区的问题比提高当前的收入更重要。

因为基于批处理文件系统HDFS,HBase的性能一直广受诟病。同时,因为MapReduce新的版本YARN借鉴了Mesos的特性,提出了Container这个资源隔离框架,让更多的框架可以运行在Hadoop集群上,HBase的处境越发尴尬了。本次BDTC上,Ted Yu将为大家带来HBase最新的技术发展和趋势,阐述新环境下HBase的机遇及发展空间。

第七届中国大数据技术大会(Big Data Technology Conference 2013,BDTC 2013)将于2013年12月5日-6日在北京世纪金源大酒店召开。Spark核心设计者、Databricks创始人兼CEO Ion Stoica,Apache HBase项目管理委员会主席Michael Stack、百度大数据首席架构师林仕鼎、华为公司诺亚方舟实验室主任杨强、Apache Tez commiter Bikas Saha大数据技术专家领衔,来自腾讯、阿里巴巴、Hortonworks、LinkedIn、小米、Intel等50余位工程师带来近60场干货分享,更有《中国智能交通与大数据技术峰会》专场感受智能交通如何改变生活。

0
0
  • CSDN官方微信
  • 扫描二维码,向CSDN吐槽
  • 微信号:CSDNnews
程序员移动端订阅下载

微博关注

相关热门文章