订阅云计算RSS CSDN首页> 云计算

大数据架构与系统(上午):高效处理高并发及大数据的经典分享

发表于2013-12-06 16:23| 次阅读| 来源CSDN| 0 条评论| 作者张勇

摘要:2013中国大数据技术大会大数据架构与系统专题论坛上午场,来自Hortonworks Senior Member of Technical Staff、阿里、百川、VMware和腾讯的嘉宾分别分享了各自在大数据架构与系统方面的最新实践。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。

大数据架构与系统专题论坛上午场,来自Hortonworks Senior Member of Technical Staff、阿里、百川、VMware和腾讯的嘉宾分别分享了各自在大数据架构与系统方面的最新实践。

Hortonworks Senior Member of Technical Staff Ted Yu:HBase and HOYA


图:Hortonworks Senior Member of Technical Staff Ted Yu

Ted Yu进行了主题为《HBase and HOYA》的演讲,他在分享中提到了压缩的例子,他介绍称压缩虽好,但它会导致速度变慢,那如何解决呢?他分享了改进压缩的关键方法,比如从从较少的文件读取、不压缩不需要压缩的数据以及使压缩较小等。

在Stripe compactions中,他提到这有点像LevelDB,在每个region/store划分键,但是只有1级(加上可选的L0),另外相对于regions,分区是更灵活的,默认情况下是几个大小大致相等的stripes,其次如果要读取, 只是阅读有关的stripes加上L0。在Stripe compactions的写入方面,他称要从两点入手,第一是数据从MEMSTORE刷新成几个文件,第二则是每一个stripe 大部分的时间分开Compact。

此外Ted Yu还介绍了Stripe compactions其它方面的内容,比如为什么要Level0?原因主要是有三方面,第一方面是Bulk loaded 文件转至L0,第二方面是刷新也可以进入单个L0文件 (避免小文件) 第三则是几个L0的文件,压缩成striped文件。如果压缩一个完整的stripe +L0, 可以去掉deletes,其次2个stripes一起Compact,当中如果非平衡, 则需要重新调整,需要指出的是这种情况非常罕见,因为非平衡的Stripes不是一个大问题,最后边界可以被用来改善将来的区域分割。

阿里数据平台杨少华:阿里开放数据处理服务(ODPS)


图:阿里数据平台杨少华

杨少华在演讲中分享了阿里开放数据处理服务(ODPS),他在演讲中称ODPS关键技术主要是在跨集群(机房)数据共享、高效SQL引擎、Xlib算法库和图计算框架上。关于第一点,阿里为什么要做跨集群(机房)数据共享呢?杨少华透露到这主要是因为受到业务快速增长、单集群受机房和飞天规模的限制等因素的影响。

在跨集群(机房)数据共享上,他称其中的难点包括:

  • 数据和计算如何划分
  • 数据动态变化,需要保证数据及其读取正确性
  • 跨机房带宽如何使用
  • 对用户透明,不影响生产基线

那如何解决的呢?比较简单的想法就是直接去用集群A取代集群B的数据,但是这样可能带来两个问题。一个问题是数群的浪费,集群A在集群B的数据还会被其他的作业用到,机房之间的流量是有限的。如果集群A很多作业往集群B来读数据的话,或者是写数据的话,那这个流量其实是很难控制。所以需要做这个跨集群数据的复制。对于B的问题比较好解,我们按照业务,类似于数据库划分,一定要读到正确的数据,不能读到错误的数据,所以我们引入一个数据版本的概念。

跨机房怎么来合理来使用呢?我们是支持这种跨集群的数据复制任务,可以进行流控。对于两平台这个容易比较做到,因为我们数据的存储存在哪个集群上对用户来说本来就是透明。具体一点,就是业务方面我们会把关系密切这些业务Project放在集群上,所有作业都在默认集群上,引用一个数据的版本,一个数据在不同的集群上,肯定有不同的这种版本,我们看这个LotestVersion是V1,所以执行A上的数据是比较新,哪一个数据的版本更新这个就跨集群的复制任务,我们支持这个两块分区都可以配制,配制主要分析是否进行跨集群的复制。这个配制可以是自动,或者是手动制作,其实我们很容易分析出来。这种数据任务之间这种数据或者是任务之间的依赖关系,就可以知道这个集群以来另外一个集群哪些数据。

百川通联技术副总裁、联合创始人刘书良:基于大数据公共云平台的DSP技术


图:百川通联技术副总裁,联合创始人刘书良

刘书良首先指出,他今天分享的主要内容是他们是怎么样基于公共的商业的云平台,建立这样一个DSP,这样一个缓和系统的经验。

对于DSP来说,它存在以下四个基本问题,第一是第三方adexchange每日可向DSP发送超过50亿流量,数据量太大;第二是Bidder的实时广告调度决策及出价算法;其次是Redis Proxy && Redis Cluster:redis数据库管理,支持对redis高并发的请求;最后是广告决策支撑数据运算。

对于这些问题的线上请求处理,刘书良做了一个简图,如上图所示,最上面的是第三方Adexchange平台。请求会通过广域网,比如机房在北京,通讯流量可能会是在深圳或者是北京,然后淘宝流量可能在杭州,通常的情况下他们的流量是通过互联网发到我们机房,机房然后在上面这层,我们做一层负载均衡,通过这个负载均衡把这个流量接进来,其次通过这种负载均衡的服务器会把这个流量发到附加服务器,这是我们业务逻辑核心这样一个模块,并且我们所有这个调度都是在这个模块中实现,在这个模块里面,我们会去请求叫Redis Prexy这样一个模块,Redis Prexy管理了Redis Table Cluster,你没有办法放在单排服务器去,传统大家都知道,数据库有这种方式,然后就是说我们通过这个Redis Prexy分成二十个Redis实力或者是三十个Redis的实力。从这张图上我们可以看到简单的逻辑,第三方调度的信息,然后就是做决策,再反馈给带来方的,这个是线上一个结构。

VMware主管工程师堵俊平:Hadoop Virtualization Extensions


图:VMware主管工程师堵俊平

VMware主管工程师堵俊平分享了大数据五点趋势:Hadoop 2.0和YARN在大数据生态系统中扮演资源管理的核心角色;MR不够好,Tez,Spark可能是替代者;HDFS努力支持更多的业务场景;更多的基于Hadoop的SQL引擎,如Drill、 Impala、Stinger;企业级服务,安全、HA、QoS等。

堵俊平接下来用大量的时间分析了YARN与云的关系。堵俊平认为,YARN和云各可以相互结合,但
各自有不同的出发点:以YARN为核心时,YARN是应用的核心层,同时独立于基础设施。此时,YARN就是操作系统,底层可以是裸机或者是云(如OpenStack、VMware);而以云为核心时,云基础设施就是操作系统(如OpenStack、VMware等),YARN是一种像“伞”一样的应用。

YARN和云都是全球化的基础设施管理平台,但YARN基于操作系统层,而云基于Hypervisor层(Hypervisor在资源的隔离能力比操作系统更强大)。YARN和大数据应用更友好;云和基础设施更友好,有利于提升资源利用率。

能不能将YARN与云结合,发挥各自的优势呢?堵俊平认为,这其实并不难。YARN可以感知和管理云基础设施的变化,同时YARN可以提供一套资源通知机制,所以云管理平台可以使用这一机制。

腾讯数据中心资深专家翟艳堂:腾讯大规模Hadoop集群实践


腾讯数据中心资深专家翟艳堂

腾讯数据中心资深专家翟艳堂首先解释了腾讯要做大集群的三个原因,第一是为了数据共享,第二是为了计算资源共享,第三则是为了减轻运营负担,在刚开始做的时候,他们面临着诸多挑战,比如在计算层上JobTracker调度效率低、集群扩展性不好,在存储层上则面临着NameNode没有容灾、丢失1个小时数据的风险、重启耗时长和不支持灰度变更等,同时也要考虑在2011年时间内怎么解决这个瓶颈问题,从而支撑四千台的规模。

因此在解决方案上,我们主要基于两方面考虑,在计算上,我们做分散化方案,第一个存储层,做扩展的方案。首先看一下JobTracker分散化,当时我们选的TDW基线版本,第一个就是YARN方案,基于当时我们开发的时间和基线版本,从硬性还有代码的兼容性和复杂度这几个方面考虑,我们最终选择了采用Corona的方案,因为我们想在较短的时间解决问题。

在讲到检测节点短板上,他提到如果一个节点慢,整个Job就慢。而对于大Job,其实它也有一些困扰,有哪些呢?比如资源池限制、生产时段和非生产时段动态调整和下手狠一点。最后翟艳堂还对大规模Hadoop集群的未来进行了展望,他称将引入YARN从而成为一个统一的资源管理平台,其次还将支持MapReduce、Storm、Spark、Tez等计算模型,成为类Dremel系统以及一个实时开源的计算平台。

更多精彩内容,请关注直播专题2013中国大数据技术大会(BDTC)  ,新浪微博@CSDN云计算

0
0
  • CSDN官方微信
  • 扫描二维码,向CSDN吐槽
  • 微信号:CSDNnews
程序员移动端订阅下载

微博关注

相关热门文章