订阅云计算RSS CSDN首页> 云计算

六届中国大数据技术大会PPT精粹(三)

发表于2013-11-18 09:08| 次阅读| 来源CSDN| 0 条评论| 作者包研

摘要:2008年至今,中国大数据技术大会伴随着席卷全球的大数据浪潮不断给我们带来前沿的应用与实践。回顾过去六届大会,CSDN将其中精华的演讲PPT整理汇总分三期发布,以飨读者。本期为第三部分,也是最后一部分。

 【CSDN报道】Hadoop从最初的Google论文演变成庞大的软件堆栈,无论是新兴的创业公司还是老牌IT巨头都参与其中,更不用说Yahoo!、Facebook等Hadoop重度应用的互联网公司了。

以下为历届中国大数据技术大会PPT精粹第三部分(第二部分 第一部分):

VMware全球高级副总裁Ronaldo Ama使用虚拟技术整合大数据和云计算
PPT下载

Ronaldo Ama展现了一副大数据的应用全景,从实时流技术、机器学习技术、实时处理技术、数据分析技术和批处理等多个领域展开;之后从技术上提出了3层模型,最上面是部署云计算技术的计算层,中间是数据存储和预处理层。

Facebook数据基础构架团队软件工程师董思颖:Facebook开发HDFS和HBase新进展 PPT下载

董思颖详细介绍了Facebook的NameNode和DataNode之间如何来实现数据增量,他以“人口普查-出生报告-死亡报告”来形象地描绘二者之间“完全报告+增量”的过程。而针对困扰业内的“如何实现NameNode不停机升级”这一问题,提供了Facebook的实现方法。

凯备份技术总监兼高级架构师卢亿雷:Hadoop在网盘和在线备份的应用与挑战 PPT下载

卢亿雷阐述了HDFS和HBase在网盘和在线备份的应用、大数据的挖掘与处理、小文件的存储、备份文件至云端、文件全路径存放方式以及Namespace的管理等方面的问题。他还分享了使用MongoDB的经验:尽量创建索引;限定返回结果条数;Filter只返回需要的数据;优化主键,尽量自己控制主健ID;UUID主键使用BinaryData数据类型存储;注意文件大小不超过16M。 

阿里巴巴工程师代志远:海量数据分布式数据库的探索
PPT下载

代志远认为大数据平台下的业务由SQL向NoSQL的迁移比较复杂,应用人员学习成本颇高,且无法支持事务和多维索引,使得许多业务无法享用来自NoSQL系统中线性拓展能力。因此阿里决定以MegaStore为理论模型进行探索,应该如何在HBase系统上不牺牲线性拓展能力,同时又能提供跨行事务、索引、SQL的功能。

腾讯高级工程师赵伟:Hive在腾讯分布式数据仓库实践
PPT下载

腾讯TDW核心架构由Hive、MapReduce、HDFS及PostgreSQL构成。赵伟分享了最核心的Hive模块在TDW中的实践经验;Hive是一个在Hadoop上构建数据仓库的软件,它支持通过类SQL的HQL语言对结构化数据进行操作;实现了基本的SQL功能,可扩充UDF/UDAF、自定义SerDeThrift协议、支持多语言客户端。最后他还剖析了Hive的不足并展望了Hive的发展前景。

Apache软件基金会主席Doug Cutting:Apache Hadoop和大数据平台
PPT下载

Hadoop已经成为了大数据的分布式操作系统的核心技术,一个事实上的标准。下一步,Apache Hadoop将提高HDFS的性能,可扩展性和可用性。 

GreenPlum工程副总裁Ronaldo Ama:大数据分析的未来
PPT下载
 

在大数据时代,分析是成功的关键。GreenPlum的标准分析平台,构架于私有或者混合的云应用基础设施上,以数据科研小组为中心。而数据科研小组将成为获得成功的核心推动力。

淘宝分布式研发工程师罗李:HDFS元数据的独立服务和独立持久化存储
PPT下载

淘宝为解决数据的急剧膨胀,文件数的不断增多,Block随之成倍的增长,内存的急剧上涨,一致性保证造成的性能瓶颈,内存的数据结构复杂,Meta服务依靠NameNode的启停,部分meta数据没有持久化等问题,重新设计部署了架构,对NameNode和client进行改进,引入了BlockChecker和Datanode。

奇虎360系统部总监唐会军:基于HDFS的在线下载平台
PPT下载

360的云架构服务器总数接近1000台,部署在全国近100个IDC中。使用HDFS提供在线下载服务一年多,稳定性得到了考验,极大降低了运维工作量并且提高了服务的可靠性。

华为虚拟化平台架构师杨晓伟:虚拟化在华为云计算中的应用
PPT下载

杨晓伟介绍了云计算环境下的资源分层模型及其演进以及UVP在云计算中的应用及关键技术。

(文/ 包研  审校/仲浩)

欢迎关注 @CSDN云计算微博,了解更多云信息。

以“应用驱动的架构与技术”为主题的第七届中国大数据技术大会(Big Data Technology Conference 2013,BDTC 2013)将于2013年12月5日-6日在北京世纪金源大酒店举行。大会共设“大数据架构与系统”、“大数据技术”、“大数据应用”、“大数据的研发趋势”,“大数据基准测试(Benchmark)”,以及“智能交通与大数据” 六个分论坛,大牛坐而论道,专家实践分享。

0
0
  • CSDN官方微信
  • 扫描二维码,向CSDN吐槽
  • 微信号:CSDNnews
程序员移动端订阅下载

微博关注

相关热门文章