订阅业界RSS CSDN首页> 业界

“沃云”资源池优化和内存扩展技术应用探究

发表于2018-12-04 17:14| 来源Intel| 作者陈硕,刘中,皇雪丽,胡自强,高丰

摘要:深入探讨优化中国联通大型云数据中心资源池、提高“沃云”应用承载能力和扩展能力,探索未来技术演进。重点分析内存扩展技术应用对优化“沃云”平台及资源池的意义。以及多角度测试深入了解Intel 傲腾和 Intel Memory Drive Technology (IMDT)的性能、特点、特性。通过“沃云”平台的内存扩展技术应用、优...

1.    引言

云计算很大程度上改变了以每个项目为一个建设周期的开发方式,这种传统的开发方式从系统设计、开发、设备采购、再到投产运营的流程,完成周期长,项目风险大,设备的重复投资多,传统方式下项目的设备资源很难共享或被再利用,造成资源和资金的大量浪费[1]。今天,作为电信运营商,中国联通“沃云”完整的端到端云计算服务平台解决方案,帮助政企客户加快业务转型。

20131212日在京召开的2013云世界大会上,中国联通正式发布旗下云计算业务品牌沃云”, 它是中国联通自主研发的面向企业和政府用户的云计算服务平台。至今已发展到了4.0版本,完成了可信云、安全等三级认证,并在电子政务、环保、医疗、教育、金融、旅游等各行业以及联通集团内部、部分省分的私有云得到广泛应用[2]。沃云以多层次的数据中心建设标准,在全国布局,已建设超过十个云数据中心资源池,规模达到25万核CPU20PB存储,总带宽240G,并仍在快速发展[3]

在快速发展过程中,沃云研发人员不断面对挑战,通过发挥中国联通自身通信网络和数据网络基础设施优势,和提供“沃云”强大的云计算平台支撑能力,满足不同行业客户应用对云计算资源池的不同服务要求和业务增长需求,同时强化资源配置,有效降低采购成本和运维成本,自主可控,按需定制和可持续发展,体现了中国联通“沃云”产品区别于其他云计算解决方案的综合技术实力和优势。

本文即基于这一目标开展的探索、研究和各种努力,希望“沃云”产品更加贴近用户实际应用需求。

中国联通“沃云”架构图

2.    概述

2.1     挑战

“沃云”一直面临市场巨大挑战,一是需不断满足不同行业用户业务需求,提高“沃云”平台的业务承载能力,二是优化在数据中心中云资源池的配置和调度,提高效率,有效降低资源池的建设和维护成本。

“沃云”承载能力

行业应用类型的多样性对“沃云”承载能力不断提出挑战,例如一台宿主机服务器最多能够提供多少虚拟机运行并同时有合理的性能保障?这个问题取决于服务器设备配置的投入(CPU型号, 内存大小,网络带宽,存储性能等),不同虚机应用对服务器资源的需求不同,和“沃云”宿主机、虚拟机平台软件系统的性能优化深度和广度等因素紧密相关。

对内存要求的多样性

大多用户需要廉价的大内存服务,在提供合理性能的同时尽可能降低成本。有些则需要低延时和超大内存,以期待更多更快的数据处理响应。还有些则需要非易失的内存,应用和数据能够保存在内存中,应用中断能即时重启,希望大型应用系统尽可能快地恢复运行。而另一些应用则需要超快的存储,满足低延时应用存储数据的需要。

虚拟化平台、数据清洗平台、流数据处理平台、大数据分析平台、关系型数据库平台,内存数据库平台等等,对CPU处理器核数单核性能、内存容量和数据存储IO性能要求都不尽相同。既要满足内存多样性要求和又要简化数据中心服务器典配类型数量,看似矛盾,但又必须面对,是数据中心云资源池基础建设规划中必须考虑的棘手问题之一。

新需求下的新的内存应用模型

数据中心有限资源利用率

有限资源是指某些资源供给能力是有范围的有限度的,若超出限度被滥用时,它的使用效率会严重下降。

服务器本身是有限资源,同时它的配置扩展性受到数据中心的机位空间、供电、网络接口和带宽、和服务器本身设计的限制。

除建设改造数据中心这种大资金投入外,数据中心本身的空间、承重、配电、网络就是一个有限资源,一旦建设完成,就已基本确立了数据中心总体承载能力。

提高在单位面积下的计算能力,同时做到降低投入成本,平衡好性能、能耗、空间占用、投资对于“沃云”资源池的建设和管理变得尤为重要。

基础设施模型的4个价值取向

新老沃云平台的技术演进和发展

    云计算技术一直在快速的技术演进和发展中,“沃云”在新技术的演进中仍需面对大量已建云资源池做维护与发展,它们同样需要技术演进,兼顾老版本和新技术,渐行渐进。

通过不断地通过技术、市场竞争和实际行业用户项目的碰撞、总结和体会,我们认识到“沃云”只有不断紧跟用户需求,采用领先的技术和产品,不断优化和创新,同时发挥中国联通的自身的端、管、云优势地位,才能成就具有自身特色和优势的优秀产品。

2.2     沃云的内存扩展技术应用探究

“沃云”要有好的承载能力、同时支持应用负载的多样性、提高有限资源的利用率、有持续的技术演进和发展,需要从云计算平台基础设施优化做起,通过结合硬件加速技术、优化硬件资源的配比得到坚实的硬件支撑,同时做好软件虚拟化层和网络层的“沃云”软件优化、内存和存储弹性扩展的优化、云资源池中的资源调度与监控优化,来实现 “沃云”的整体进阶。

本文重点放在“沃云”的内存扩展技术探究和验证,它是整个“沃云”技术演进探究中的重要一环,内存扩展技术是其他部分优化的基础。

“沃云”资源池架构图

“沃云”的内存扩展与“弹性” 需求

内存扩展是提高“沃云”承载能力和优化资源池的一个关键技术点。通过内存扩展优化做到内存容量、性能、成本的最佳平衡,从而在同样成本和合理性能保证下,创建出更多的虚拟机数。

要想在一个通用“沃云”资源池下覆盖各行业的不同应用类型,其挑战是,资源池建设初期无法事先预知未来应用需要配置多大的内存容量,不同类型的节点服务器配置比例是多少?有什么样的性能要求和成本要求来满足未来应用的需求。

一种办法是要求“沃云”的服务器节点配置和性能有“弹性”,能够应对大部分配置变化。方法是通过对以往的“沃云”资源池服务器节点配置做统计,归类出通用节点服务器的典型配置模型和大致比例,同时根据实际情况和每年的项目规划做适度的调整。对于某些应用类型对服务器配置有特别要求的(例如,in-memory 分布式数据库平台,需要配置超大容量内存的),则可以通过相近典型配置再添加配件的办法。这样既能简化“沃云”平台服务器节点配置模型的数量,通过大规模集中采购降低成本和减少相应运维工作量,又能满足这些特定应用类型配置要求,使得通用服务器配置模型富于灵活性和有“弹性”。

Intel 3D Xpoint 技术和 英特尔® 傲腾™  的引入[4]

 Intel 3D Xpoint和英特尔® 傲腾™  Intel最新推出的黑科技技术和产品,它即具有接近于内存的数据读写性能,又具有固态硬盘的数据非易失性特性和超长擦写寿命,容量比内存大,且价格比内存便宜。

通过引入Optane实现内存扩展,可以实现在相同的价格下获得比单纯DRAM内存有更大的内存容量,使“沃云”平台有更多的承载应用数据的空间和虚拟机有更均衡的性能发挥。这对大规模的云数据中心来说是非常有利的,可以满足很大一部分需要超大内存容量的应用或服务的需求。就犹如有同样的价格和马力下的两辆车,一辆货车有更大的装货空间,另一辆轿车速度相对稍快,对于经营大量货物运输的人来说货车可能是更好的选择,在速度和容量之间找到平衡,以达到最经济的效果。

U.2 接口和 PCIe 接口的Optane 外观

英特尔® 傲腾™ 可透明集成到内存子系统中, 其中间件软件英特尔® Memory Drive  技术(IMDT[5]在操作系统之前启动, DRAM + 英特尔® 傲腾™ + IMDT可模拟一个易失性内存池, 无需对操作系统和应用做改变。适合于Xeon服务器平台做内存扩展。

Intel® Optane + IMDT 连接图

根据英特尔® 傲腾™的产品路线图,新一代产品 Apache Pass[6], DIMM接口在下一代Cascade lake服务器中直接插在内存插槽中,增强了IO带宽,带来更好的读写延迟性能和更加便利的使用。

DIMM 接口的 Apache Pass 外观

新技术激发关键应用时内存模型应用的变化

Optane的这些新特性,可以改变应用的架构设计和内存使用模型

虚拟化场景中的内存模型的改变可以为每个云计算节点多增加虚拟机数,带来额外的收入。通过虚拟机优先级在内存和存储级内存中的分类优化,宿主机节点中大量的低优先级虚拟机将不会影响高优先级虚拟机的内存使用性能。

内存扩展技术模型

在云化服务中,Optane的内存扩展技术和内存存储技术可对大数据、流式、实时、in-memory等分布式数据处理分析平台的内存模型做改变,在节点的IO性能、内存容量和资金投入之间找到平衡点。 当应用数据做CRUD增加、 读取、更新、删除操作时,使用DRAM或内存扩展模式的Optane;当做大数据分析操作时使用存储模式的OptaneNVMe SSD;当做数据恢复数据存储操作时,使用NVMe SSDSATA SSD。不同的存储器介质代表不同的价格和相应的IO性能和容量,满足应用对内存IO性能、容量、价格的要求。

关键应用类型内存、存储使用模型[9]

“沃云”内存扩展技术探究

有了“沃云”内存扩展技术优化的新思路后,我们的工作就可以比较清晰地展开技术验证和优化。具体探究工作包括以下内容:

-          成本分析:比较采用Optane内存扩展技术的“沃云”系统和原本采用DRAM系统的成本差异。

-          性能分析:设计测试场景,在虚拟化环境下通过最常用的基准测试工具,对不同压力下的内存读写的带宽、延迟时间(平均、最高、最低)测试数据加以细致分析,来观察性能的变化,理解内存扩展技术的机理和合理配置。

-          稳定性分析:设计测试场景, 分析不同类型应用在虚拟化环境下的测试数据,看应用运行性能的稳定性。

3.    “沃云”内存扩展技术应用性能测试与分析

3.1 成本分析

在大型数据中心中,要采纳一项革新技术,它的使用成本和带来的收益往往决定它被推广或被丢弃。我们首先对“沃云”服务器节点的典型配置做分析,比较其配置成本:

“沃云”中一台典型配置的计算节点服务器Xeon Gold 5120 共有 56 vCPUvCPU与内存之比按1:4 计,至少需要配置 224GB内存,若按18计则至少需要配置 448GB 内存,加上宿主机系统所需内存和预留冗余内存,一台两路Xeon Gold 5120服务器内存的合理配置 256GB 512GB之间较为合理。CPU的核数越多,作为虚拟化计算节点,内存容量的需求就可能越大。有些作为大内存节点服务器例如 in-memory 数据库等,内存容量需求就更大 (甚至1TB 以上)。

按公开市场价,目前 DDR4内存10美元每GB计,512G内存的花费在 5120美元。 Optane+IMDT内存扩展可以按 192GB DDR4内存加上 Intel Optane 375GB所产生的320G内存扩展(配置DRAMOptane = 12),需要 1920美元+1500美元=3420美元。每台512GB的服务器可节省约 1700美元左右。[7]

对于大型数据中心,这种方案节省的内存费用十分可观,按1万台服务器每台512GB容量计,光内存就可直接节省上亿元人民币,还未计算每个节点可以额外多增加的虚拟机数所产生的巨大收益,或者配置同样的虚拟机数所节省的数据中心机架空间和服务器。

3.2 KVM虚拟化环境中观察使用Intel内存扩展技术的虚拟机的性能表现

测试机节点配置: Intel Xeon E5-2650 v4 双路服务器,共48 vCore 128GB DDR 4内存,SATA SSDIntel DC P4800X 375GB SSD+IMDT

配置和测试数据结果见下图:

 

Case: 5 组测试,每组配置设定了不同的测试边际,逐一增加虚拟机数,观察 CPUDRAMOptane+IMDT 不同组合中DRAM未超分和超分情况下的数据对比,观察它的最大内存存取带宽、平均时延和最大时延,判断它在实际虚拟化场景下的可用性和性能抖动情况。

test scenario: 测试服务器节点内存容量配置。Case 1,采用128GB DRAM场景, Case 2,3,4:采用128GB DRAM+ Optane+IMDT的内存扩展技术,共组成 350GB物理内存容量。

VM Amount:测试中逐一增加虚拟机数,最多时达到的虚拟机数。每台虚拟机资源配置为4 vCore + 16GB 内存,因此 Case 1 物理内存容量配满时的最大虚拟机数是 7Case 58个虚拟机的内存配置超出了的DRAM物理内存实际容量。Case 2,3:最大物理核可分配数是11个虚拟机。 Case 418个虚拟机已超分CPU资源超过 150%,但总内存容量未超分。

Allocated Memory: 所有虚拟机分配的内存容量的总和,每台虚拟在系统资源按4 vCPU+ 16GB 分配。

Active Memory: 在虚拟机测试中,实际用到的内存数总和,观察Case 5 在增加到第8个虚拟机时DRAM内存容量超出物理内存, 发生系统崩溃,因此没有测试数值。Case 2 Case 3 边际测试, 测试实际测试数据在物理内存内和超出实际物理内存两种情况。

Total MEM B/Wtriadd):测试中逐一增加虚拟机,通过每台虚拟机内安装的stream测试工具测得内存带宽,相加后得到的总和。

Avg latencytriadd):测试中逐一增加虚拟机,通过每台虚拟机内安装的stream测试工具测得内存的平均延时数。

Max Latencytriadd):测试中逐一增加虚拟机,通过每台虚拟机内安装的stream测试工具测得内存的最大延时数。

结果分析

在虚拟机测试场景下的结果比较满意。我们从测试的表中可以看到

1.      在不使用 Optane+IMDT技术时,它的虚拟机可分配数由于受到DRAM内存容量的限制,可分配的虚拟机数是最少的 7个虚拟机(可建的虚拟机数比使用 Optane+IMDT技术 18个虚拟机少了一半还多),一旦超出物理内存容量,就引发系统崩溃。

2.      虽然虚拟机内的内存带宽随着虚拟机数的增加,内存带宽逐步减少,但测试数据表面,使用了Optane+IMDT技术,Case 3,4 显示实际总内存带宽数用足,没有减少。

3.      使用了Optane+IMDT技术在单台的虚拟机中的内存平均延时和最大时延有所增加。观察边际数据,在实际测试数据使用当超出 DRAMOptane扩展内存后时延有进一步增加,但仍然是在预期的应用可接受范围内的,扩展内存方案下的带宽和延迟仍然在作为内存的性能范围内,比NMVe SSD等下一级存储的带宽和时延快得多,时延抖动也小得多。在使用stream测试工具大压力下虚拟机实际内存表现比较平稳。

4.      以上结果是在DRAM内存与Optane扩展内存之比在12左右得出的。若要获得更小的内存时延性能可减少配比, 或若要有更好的容量价格比,可以放大配比比例,如 1:4 或更大,但建议不超过1:8。

3.3 比较 “沃云”环境下虚拟机中最常用几种应用方式,如Redis MysqlVM Boot time在内存扩展技术和DRAM下的性能和稳定性表现 [9]

沃云测试环境为一个管理节点和三个计算节点,计算节点的内存配置如下:

计算节点

ECM01

ECM02

ECM03

CPU

Intel至强 E5-2660 v4 双路共56 vCore

内存

251GB DRAM+315GB Optane + IMDT

251GB DRAM

251GB DRAM

存储

Intel P3520 NVMe SSD 1.2TB x 2

 

通过标准测试工具观察在虚拟机中的运行情况来判断是否对沃云虚拟化场景下的系统性能和稳定性产生影响。

测试场景一:通过redis-benchmark测试工具进行虚拟机中的Redis性能测试。

此方案在安装了Optane的服务器及仅适用DRAM的服务器上创建了相同规格相同数量的VM,旨在对比不同宿主机实际内存占用下虚拟机中 Redis性能的大致表现。

实验中所创建的虚拟机规格为8 vCPU\32GB ram,每个用例测试5次取平均值。当DRAM服务器和Optane服务器内存占用相同时,通过对比发现DRAM服务器中VM RedisOptane服务器的Redis性能略高。此外,随着Optane 服务器内存占用增高,VM Redis性能有所降低,但这些改变都在预期范围内。由此可见,在可控的性能降低幅度下,Optane可以提供比DRAM内存更大的承载能力。

测试场景二:通过sysbench database 测试工具进行虚拟机中的MySQL性能测试。

此方案在Host创建了相同规格不同数量的VM,旨在对比Host在不同VM数量下的VM MySQL性能的大致表现。

实验中创建的虚拟机规格为 8 vCPU\32GB ram 。当Non-Optane HostOptane Host创建的VM数不同时,测试结果表明,随着创建VM数量的增加,Non-Optane VMOptane VMMySQL应用每秒处理的事件数有所下降,平均延时和95%延时指标均出现了增长,这些改变属于正常现象。且随着VM数的增加,Optane VMMySQL性能虽出现下降,但改变比较平稳且合理。

Non-Optane HostOptane Host创建的VM数量相同时,Non-Optane VMMySQL表现出的性能确实比Optane VMMySQL的性能好,但是差异并不明显。

测试场景三:进行虚拟机Boot time测试。

此方案改变了Host实际内存占用大小,旨在对比不同Host内存占用下VM Boot time的大致表现。

测试发现,在相同的Host内存占用范围内,Optane VM Boot timeNon-Optane VM Boot time时间长;Host主机内存占用百分比越大,Optane VMNon-Optane VMBoot time差距越小,基本可以忽略。

从三组方案的测试结果得知,横向对比,虽然沃云融合Optane的系统性能比标准系统的性能有所降低,但不会影响可用性;纵向对比,沃云融合Optane的系统随着内存占用的增大,整体性能变化比较平稳。

4.    总结和展望

通过仔细分析和测试验证,我们对内存扩展技术及其性能表现已有比较直观的认识,可以得出结论,Intel Optane+IMDT_内存扩展技术可以用来满足系统内存容量需求超过 256GB的场景,它能较大地降低服务器总体采购成本(例如512GB 内存,若使用扩展内存技术每台可以节省1700美元左右),同时由于有足够的内存,可以比较充分地提高服务器的有效利用率,提升数据中心单位空间的虚拟机密度。我们也注意到这种好处是在一定程度上降低内存读写速度和时延的情况下获得的,若你的应用需要极低的内存时延来支持你的应用运行,对业务处理响应时间有极高要求的话,仍需选择DRAM方案。通常,应用响应的时间在完全可接受的情况下,对多数用户来说,用时间换取较大的服务器采购成本下降和服务器及数据中心的利用率提升,应该还是不错的选择方案,Intel Optane+IMDT_内存扩展技术为我们大内存应用多了一种选择。

“沃云”的承载能力和扩展性常受限于单节点服务器配置,归根结底受限于大规模的采购成本压力,更大内存容量需求和IO的限制影响了“沃云”系统的承载能力。通过Intel Optane+IMDT_内存扩展技术进行优化,以较低采购成本换取更大的内存容量,在提高虚拟机数的同时虚拟机内的典型应用如Redis, MySQL等运行也比较平稳。虽然应用性能随着虚拟机数的增加,性能相对比较线性地下降,这些都在预期之内,下降的性能仍能够满足应用正常运行。在实际应用中需要在增加的虚机数和性能之间找到平衡,从总量上分析还是可取的。

我们非常期待新一代的内存扩展产品 Apache Pass 的出现,由于它的IO接口从PCI-e侧改到CPU中的内存控制器侧,更能充分发挥 3D Xpoint 高速性能,有更低的内存扩展时延,带来更好的应用体验。

 

参考文献和数据来源

[1]     中国政务云发展白皮书 2018年)  云计算开源产业联盟

[2]     中国联通 赖羿明:沃云平台高可用实践分享   http://cloud.idcquan.com/yzx/115280.shtml

[3]     http://www.woclouddata.cn/zhuzhan/aboutus/index.html

[4]     Product Brief: Intel® Optane™ SSD DC P4800X Series   https://www.intel.com/content/www/us/en/solid-state-drives/optane-ssd-dc-p4800x-brief.html

[5]     Intel® Memory Drive Technology SW for Intel® Optane™   https://www.intel.com/content/www/us/en/support/products/123705/memory-and-storage/ssd-software/intel-memory-drive-technology-sw-for-intel-optane.html

[6]     Intel Launches Optane DIMMs Up To 512GB: Apache Pass Is Here!  https://www.anandtech.com/show/12828/intel-launches-optane-dimms-up-to-512gb-apache-pass-is-here

[7]     成本测算参考价格:16G DDR4 ECC内存参考价格 (https://memory.net/memory-prices/)  DDR4 2400 Server memory 零售参考价格  (https://www.newegg.com/Product/Product.aspx?Item=9SIA7S67E57702&cm_re=32GB_Samsung_Server_DDR4-_-20-147-572-_-Product)  Optane 参考价格 https://www.intel.com/content/www/us/en/products/memory-storage/solid-state-drives/data-center-ssds/optane-dc-p4800x-series.html  Optane 零售参考价格   (https://www.amazon.com/Intel-Xpoint-P4800X-PCIe3-0-SSDPED1K375GA01/dp/B076TCZ3CM)

[8]     https://www.intel.cn/content/www/cn/zh/homepage.html

[9]     Intel-沃云联合创新实验室

 

作者介绍

1.      陈硕,联通云数据有限公司Openstack研发工程师,Intel沃云联合创新实验室成员

2.      刘中,联通云数据有限公司研发总监,Intel沃云联合创新实验室成员

3.      皇雪丽,联通云数据有限公司研发工程师

4.      胡自强,Intel 行业技术专家,Intel-沃云联合创新实验室成员。

5.      高丰,Intel 存储架构师

 

【免责声明:CSDN本栏目发布信息,目的在于传播更多信息,丰富网络文化,稿件仅代表作者个人观点,与CSDN无关。其原创性以及中文陈述文字和文字内容未经本网证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本网不做任何保证或者承诺,请读者仅作参考,并请自行核实相关内容。凡注明为其他媒体来源的信息,均为转载自其他媒体,转载并不代表本网赞同其观点,也不代表本网对其真实性负责。您若对该稿件由任何怀疑或质疑,请即与CSDN联系,我们将迅速给您回应并做处理。】

0
0