订阅云计算RSS CSDN首页> 云计算

【BDTC讲师】百度林仕鼎、腾讯蒋杰、阿里唐洪论道大数据平台与技术

发表于2013-11-20 21:49| 次阅读| 来源CSDN| 0 条评论| 作者郭雪梅

摘要:2013年12月5日-6日,2013中国大数据技术大会上,百度、腾讯、阿里的技术领袖将再次聚首。百度大数据首席架构师林仕鼎,腾讯数据平台部助理总经理蒋杰,阿里飞天平台总架构师唐洪,论道大数据技术与平台。

大数据需要大架构,大架构孕育大数据。2013年12月5日-6日举办的2013中国大数据技术大会上,百度、腾讯、阿里的技术领袖将再次聚首。百度大数据首席架构师林仕鼎,腾讯数据平台部助理总经理蒋杰,阿里飞天平台总架构师唐洪,论道大数据平台,技术与理念的大碰撞,带来创新思考的火花!

百度林仕鼎讲述“面向大数据处理的新型体系结构”

百度大数据首席架构师林仕鼎是CSDN云计算的老朋友了。在今年第五届中国云计算大会上,林仕鼎认为:云计算主要解决的问题是数据管理的规模,而大数据更强调数据处理的多样性、复杂性和实时性。要实现这一目标,需要设计一套完整的技术体系,以大规模分布式存储和处理为基础,构建出适合实时数据分析处理的存储结构和计算引擎。

在他看来,大数据和云计算都可以分为三层:

  • 最底层:数据中心、网络、服务器等硬件。
  • 中间层:软件基础架构,包括大规模存储、高性能计算等。
  • 顶层:数据智能,包括数据仓库、实时的数据处理等。

而在6月《程序员》杂志中,林仕鼎与CSDN&《程序员》总编辑刘江畅聊云计算趋势时,甚至认为“技术将重构整个社会”。有着具思想家的气质,另一方面,又是目前业界为数不多的还在写代码、坚持在一线的高级技术管理者,林仕鼎将会在2013中国大数据技术大会上更加深入地解读《面向大数据处理的新型体系结构》,机不可失。

腾讯数据平台部助理总经理蒋杰解密“腾讯大数据技术”

翻开蒋杰的履历,经验绝对丰富。现任腾讯公司数据平台助理总经理,负责腾讯数据业务,拥有超过10年以上的从业经验的蒋杰,曾任阿里巴巴集团工作5年,任支付宝BI首席架构师,负责数据平台基础架构和应用架构,在海量计算,分布式架构,流式计算方面经验极为丰富。

2012年,CSDN云计算曾听蒋杰分享“腾讯公司集中式IT系统技术构架”,印象深刻。

在他看来,腾讯IT架构演进分为三个阶段:2000-2006年为第一阶段,服务移动和电信增值,百万级代码量,1000人技术团队,营收规模在28亿,架构是典型的烟囱式,技术技术是C++/.NET/Spring/RDBMS;

  • 2007-2010年为第二阶段,增加了互联网产品领域,千万级代码量,1000-6000人技术团队,营收规模在360亿,架构变为面向服务型,技术基础包括分布式缓存/消息队列/数据拆分/key-values数据库/Hadoop;
  • 第三阶段为2011年开始至现在(当时指2012年),服务范围增加海外、第三方开放平台,亿级代码量,技术人员6000+,而架构势必将面临速度、海量、稳定、安全平台的挑战。

不止如此,还有来自数据仓库体系、腾讯数据银行、实时放算体系以及腾讯开放平台等新的需求不断产生。在腾讯开放之初,马化腾曾多次提及,腾讯开放的是一种能力,并将优化平台生态环境,扶持中小开发者,帮助更多中小创业群体成长作为一项重要课题。在“开放”如火如荼的今天,腾讯大数据技术发展策略将有哪些深刻变化,拭目以待。

阿里唐洪分享“阿里巴巴飞天数据平台架构”

从坚持认为阿里自主开发“飞天”不靠谱,到2010年加盟阿里云并成为“飞天”技术负责人,唐洪和飞天有着不解之缘。

2008年,王坚确定要自主研发通用大规模分布式计算系统,并将其命名为“飞天(Apsara)”,2009年春节后上班第一天,阿里云团队在北京上地一间简陋的连空调都没有的办公室写下第一行代码。同年,王坚在美国硅谷遇到著名的Hadoop专家,当时在雅虎任职的唐洪。唐洪对王坚说开发“飞天”这件事“完全不靠谱”。“我觉得他是对的,世界上没有人会觉得这个事情靠谱,因为它很难。”王坚后来也坦承。有趣的是,在王坚数次诚挚邀请下,2010年唐洪正式加盟阿里云,后又担任起“飞天”的技术负责人。

三年过去,阿里云资深总监、飞天负责人唐洪更多被业内技术朋友们称为“阿里飞天平台总架构师”。

10月24日,在2013年阿里云开发者大会中,飞天5K(单个集群超过5000台服务器的通用计算平台)一举震惊国内外技术界。Facebook都发送邀约,请飞天团队到美国进行技术分享。飞天,由阿里云开发的大规模分布式计算系统,负责管理数据中心Linux集群的物理资源,控制分布式程序进行,隐藏下层故障恢复和数据冗余等细节,有效的提供弹性计算和负载均衡的服务。目前,飞天5K单点集群拥有超过10万核计算的能力、100PB存储空间,可处理15万并发任务数,承载亿级别文件数目。同时,飞天5K单点集群的100TB排序能在30分钟完成,两倍于今年7月1日Yahoo!在Sort Benchmark排序测试Daytona Gray Sort所创造的世界纪录——100TB排序完成时间约71分钟。

为了揭示飞天5K的技术和应用特点,CSDN云计算曾专访唐洪,详见《飞天5K:开放比开源更有意义》。但囿于笔墨,仍有很多技术要点没有涉及。相信在今年国内顶级大数据技术盛会——2013中国大数据技术大会(Big Data Technology Conference 2013,BDTC 2013)中,唐洪对飞天将有更为深入的解读和分享。

不只是百度大数据首席架构师林仕鼎,腾讯数据平台部助理总经理蒋杰,阿里飞天平台总架构师唐洪将于2013年12月5日-6日在北京世纪金源大酒店召开的第七届中国大数据技术大会(Big Data Technology Conference 2013,BDTC 2013)还邀请到了Apache HBase项目管理委员会主席Michael Stack、华为公司诺亚方舟实验室主任杨强、Apache Tez commiter Bikas Saha,Hortonworks、LinkedIn、小米、Intel等近百位工程师带来近数十场干货十足的技术分享,最低票价,从速

0
0
  • CSDN官方微信
  • 扫描二维码,向CSDN吐槽
  • 微信号:CSDNnews
程序员移动端订阅下载

微博关注

相关热门文章