订阅云计算RSS CSDN首页> 云计算

阿里集团高级研究员、核心系统负责人章文嵩:服务器定制与绿色计算

发表于2012-05-25 16:33| 次阅读| 来源CSDN| 0 条评论| 作者王旭东

摘要:阿里巴巴集团高级研究员、核心系统负责人章文嵩表示,低功耗的CPU来做云是非常有前景的,尤其对于数据密集型的应用,可以降低电力消耗,减少碳排放;单位空间(机柜)下有更高的I/O吞吐率;降低硬件购置成本和运营成本。

【CSDN现场报道】第四届中国云计算大会于2012年5月23-25日在北京国家会议中心隆重举行。本次大会由中国电子学会主办,北京市经济和信息化委员会协办,中国云计算技术与产业联盟、中国电子学会云计算专家委员会承办,CSDN与《程序员》杂志协办。在2012国内公共云全面开花、云计算实践元年之际,本次大会云集云计算核心专家,就国内外云计算核心技术 以及行业应用创新实践进行了深入探讨。

图:阿里巴巴集团高级研究员、核心系统负责人 章文嵩

阿里巴巴集团高级研究员、核心系统负责人章文嵩表示,低功耗的CPU来做云是非常有前景的,尤其对于数据密集型的应用,可以降低电力消耗,减少碳排放;单位空间(机柜)下有更高的I/O吞吐率;降低硬件购置成本和运营成本。

章文嵩说,由于不断增大的CPU与IO之间的差距、CPU功耗的增长快于处理速度的增长、降低CPU的峰值功率比动态调整功率使用更能减低系统能耗、传统CPU峰值功耗高限制了IDC服务器的密度、服务器数量大,降低单台服务器故障来带的影响、更高密度的存储能力等方面的因素,决定了淘宝的CDN缓存服务器需要低功耗。

章文嵩还表示,淘宝的开源绿色计算目标是推动互联网整体硬件基础设施(包括服务器、网络设备、IDC机房、机架和电源等)的节能环保。

下面为文字实录:

大家下午好。我叫章文嵩,我目前在阿里集团做底层的平台,我们设计到从硬件的定制到操作系统内核的定制开发,还有上面的软件系统的开发。今天要和大家分享的是我们在低功耗服务器上面的定制。一开始会讲一下我们低功耗服务器的来源,整个低功耗服务器的过程。会介绍一下我们低功耗服务器的利用场景,在CDN系统上。我们怎么去用低功耗服务器,怎么去做各种优化。我们把低功耗服务器都开源出来,建立绿色计算的网站。最后会小结一下。

低功耗服务器,在互联网应用来说我们自己观察到很多都是数据密集型的,复杂的科研计算非常少。针对这样的应用来说,上次拿低功耗的处理器来做,功耗会降低很多,整个计算系统会达到平衡。我自己的经验来说,2008年和朋友一起创业,做了一个下载播放盒,ARM处理器,空载时功耗已经到了一瓦,当CPU百分之百跑着,外接USB硬盘也在读写时,全部跑起来大概九瓦。右边的图片里面是21片的集群系统。我09年来到淘宝,当时考虑也很多,比如说低功耗处理器很多,有ARM,因为种种考虑迁移的成本,包括应有人员的接受程度怎么样,因为毕竟换了一个新的。综合了各种因素之后,我们最终选择了兼容IA架构处理器。整个过程并不容易,去年我们才有了批量的部署,定制硬件比软件还复杂很多,我个人过去是搞软件的,写底层的系统软件。写软件比较好,时间很短,但是做硬件的话万一设计出问题,返工的周期实际上是很长的。

在2009年底,那时候我们做低功耗处理器,到2010年6月份,整机交付测试。一开始在实验室测验还不错,拉到数据中心也有一定的规模,机柜的部署,但是整个测试过程中我们也碰到很多问题,比如散热的问题,我们加风扇,风扇带来的振动,振动对硬盘的寿命又有影响。实际上这个过程走下来并不容易,那个机器的定制后来又出现了问题。到2010年8月份,英特尔那时候非常积极的和我们一起做,因为我们也花了一些钱做低功耗的服务器设置。后来英特尔找了(英文)一起做低功耗服务器,2010年10月份的时候,在网站上做压测,一直压测到春节,2010年2月份的时候,那一批机器做的还不错,都达到了预期的效果。当然中间我们也做了很多优化,到2010年6月份进行了批量部署,线上经过很多真实流量的考验,再到2011年9月份,包括在系统上,根据应用使用的性能指标参数,整个文档都开源出来了,建立了网站。这是大概定制的过程,讲一下应用场景。

淘宝网大家都知道,网络购物的代名词,网络购物大概80%的市场在淘宝网上成交的。我们这样一个网站每天访客,可能大概是7800万左右,去年双十二的时候是1.25亿的访客,大促的时候来的人比较多。淘宝上的一个特点,大家访问淘宝都知道,商品描述大的都是图片,旁边还有其他的小图,平均50左右的图片。淘宝网站的流量大概90%以上都是由于图片的流量。针对淘宝这样的网站,我们做了一些包括图片存储,或者全局的CDN系统,在最下面实际上是TFS集成,是对象存储系统,主要放淘宝的图片。

TFS有6200T的存储空间,实际已经用了4000T。因为淘宝用户全国都有,CPU一级缓存、二级缓存,基本上是对应的关系。我们在一级缓存上大概有50T的存储空间,因为淘宝的图片实在太大了,我们一份数据一张图片存四份,一个机房存两份,所以用了4P的存储,存储量在1P左右,拿单个服务器对应那么大对象是很难做到的,你很难把局部性提的让它的命中率很高,你要做到足够大。所以目前是50T左右,还有50T更大的一级缓存。

淘宝的CDN在全国布了103个节点,单节点服务能力>10Gbps,整体系统能力实际上是1000G以上,最高分的时候要算分值。图片的规模有1000T,因为网页上各种规格的缩略,大概30张左右,占存储容量也会有1000T。淘宝的图片平均大小大概18K左右。但18K以下的对象数占的总数非常多,网站里面有很多小的缩略图,总数是80%,存储容量只有40%,淘宝访问的局部性也非常高,95%、96%的命中率。由于这些特性,因为也考虑到了建设成本,淘宝存的都是图片,连续的挑战大多了,尤其是对存储系统来说。硬盘存储指标,每秒钟做多少个IO,机械硬盘一般是90次-20次左右,移动的平均时间大概10毫秒左右。IOPS做到180,SDP做到上万次,内存没有,内存成本更高,但每一样存储介质虽然访问速度快,但成本是不一样的。SATA硬盘500块钱就能买来,1G五毛钱。我们因为建设成本不是无限制,用了混合存储的方式来做。有内存,有SSD,有SATA,但是在淘宝CDN上,基于很多开源软件。从硬件上面来说只有两层,因为前端有一个负载均衡期,为什么要这样?每个机器的存储容量是有限的,我放三、四台就可以组成60T的存储空间。但是不能重复存储,重复存储我的有限空间又少了。这样整个存储空间用的就充分了。

混合存储上我们也做了迁移,和最终定制的也有关系。我们IO的优化,比如说图片的存储到0.9个存储,最早用混合存储,这个方法在CDN是比较得意的地方,小的SSD快,但是容量小,个数占的多,小的进SSD,中等的放SAS,小的放SATA。落到SSD只有40%的访问量,还有SATA上面,SSD的IOPS非常高,是几万次,但是我们可以把它用起来。

那时候在想,过去那么简单的按大小切,这种切法可能也会有热点,访问的频度,按这个评价指标做迁移,大对象如果他足够热,他也会被迁到SSD上面去,我们一开始想到这个方法不是有效的,跑到线上一实验,大部分落到SSD,84%都会落在SSD,因为SSD毕竟快,大量的都跑到SSD上面去了。对于存储这样的服务器,传统高性能的服务器,高性能服务器上面,我们看SAS硬盘利用率已经到八九十年了,但是CPU只有10%以下,CPU利用率非常低。CPU和IO之间的差距也很大。有很多CPU的能力,但是一直没有用起来。

所以把CPU的功耗降下来,整个让一个机柜可以放更多的机器。

怎么做一个低功耗的服务器,大概定制什么样规格的服务器。有2U 8Nodes,机器速度加的多了,2U的机器,里面放8 Nodes处理器。传统服务器,这里面用的机器书目也不一样,机器25瓦,足够强,硬盘也多,要256块硬盘,单一节点可以做到64G的存储,别的机器因为硬盘数的限制,做到33T,或者36T。

我们对这里面的指标进行评测,整体的服务能力,能做到多少。一开始我们也没有太大把握,所以加了足够多的机器,我们试验室侧出来的有14.6G的能力,都是实际的节点。最终我们衡量的指标,比如说花一块钱我们做到多大,每秒钟处理多少,在实际的节点是最高的,可以做到30KB的容量,一瓦的功耗能做到多少的容量,这个指标也都是最高的,可以做到7兆。在低功耗服务器上面也做了,整个过程不光是硬件,软件也要优化,一开始我们拿到这样的机器,一开始900都不到,后来进行了初步优化,达到了900。我们做了系统级别的优化,尤其是模式,以往是用传统IDE的模式,IDE改成ACHI的结果,按道理理论上90多个怎么只有5个就忙不过来了,后来找到是参数算错了,整个模块没有,又要加在上面。我们在做操作系统的一些优化,比如说IO终端的优化,包括SMP的测试,后来做到1700,基本翻一倍。当然主线程只有一个,把一个CPU连起来。我们也正在写一个缓存软件,我们自己的存储引擎,我们想象可以做到1000,或者更高。

有了这些初步经验之后,我们把用的机器数降下来,48台也能满足,这样成本会降得更低。在低功耗的机器上,我们努力追求的目标是IOUtil平衡,但是这里出现了不平衡,只有25%左右,上面CPU已经跑到56%多了。低功耗的硬件定制是持续的,也有不如意的地方,大概有800左右的规模部署,在一级缓存,二级缓存,我们有节点跑到9.77,完全达到要求,那时候IO也是到50%左右,这里面我们会持续从系统角度优化,包括降低CPU的功耗,因为CPU是平级的,怎么通过软件优化,降低CPU消耗,提高性能。这款服务器各方面还是有待提高的。

绿色计算,我们和合作伙伴一起定制了这样的机器出来,这样的机器对于能耗的节省有很大的作用,我们建立了一个网站,当然低功耗硬件的定制是很小的一块,做绿色计算的数据中心,数据中心怎么干,空调系统怎么弄,自然风冷却,或者其他的冷却方式,POE做的足够低,机柜怎么设计,高性能服务器怎么定制,方方面面非常多。后来我们只是开了一个头,把低功耗的机器放在这样的网站上面。当然,这不简单的是一个硬件,包括我们的应用取得什么样的性能,在上面都有应用情况和测试报告。

想通过Green Compute的网站,和国内厂商一起降低数据中心的能耗,真正做到绿色的数据中心,希望更多的合作伙伴能参与进来,把很多成果公开进来,实际上这对企业来说也未必是一个核心竞争力,因为大部分公司的核心竞争力未必是在设计上。所以把这个公开出来,对于国内的数据中心能耗的节约会很有帮助的。

很多处理器和芯片厂商,主板的设计商,电源、服务器,都可以参与进来,降低能耗的一些硬件设计举措,可以放到这个网站上,让业界来共享。我们网站建立之后,阿里云内部积极响应,上面也有使用规格,包括效率。通过直流供电服务器,也是在服务器设计里面蛮重要的环节,把供电的效率,供电的转换效率提高。比如交流的UPS,380伏交流的,再转成220伏交流的,转换效率大概88%左右。如果我们把UPS放在240伏直流,统一集中的PSU瓦,供电,整机的整个供电效率比如提高到85%、86%以上。整个数据中心如果进的是直流的话效率会更高,如果节约9%的点实际上是很大的。

直流的规格出来,实际上很多厂商也积极参与,包括华为也定制阿里云的服务器,也有英业达,1U直流服务器。直流的服务器需要集中式的机架式的电源系统,集中处理,可以把它做的更精致,转换效率会更高一些。

低功耗的服务器特点我们小结一下。低功耗的处理器如Intel、ATOM等,低功耗的Chipset,SSD或低功耗的SATA硬盘,关闭GPU和USB Controller等。适用不需要太多CPU计算的I/O类型应用。好处是大大降低成本,整个IO效率会提高上来。未来我们会在这方面持续优化,Intel也有自己的战略。跟华为也有合作。比如存储系统,一个机柜放1P的存储空间,或者2P的存储空间。实际上低功耗我们只是开始做了一点点,希望更多的业界参与进来,我们一起推进绿色节能。谢谢。

更多精彩内容,请关注CSDN云计算频道微博第四届中国云计算大会专题报道

欢迎投稿:“第四届中国云计算 大会”之我见——征稿启事

本文为CSDN原创,未经允许不得转载。如需转载请联系market@csdn.net

0
0
阿里集团高级研究员、核心系统负责人章文嵩:服务器定制与绿色计算