数据中心概述：
 
DC (Data Center)
企业IT系统的核心
海量数据运算、交换、存储的中心
关键信息业务应用的计算环境
集中管控各种数据、应用程序、物理或虚拟化设备的环境
 
数据中心四大焦点：可靠、灵活、绿色、资源利用率。
 
传统数据中心面临的问题：
 
IT复杂：
 
30%传统数据中心资源分散，利用率低。
 
平均业务恢复时间长。100分钟。
 
80%工程师手工分配资源。
 
5+运维工具，传统数据中心IT设备需要。
商业迟缓：
 
大数据处理能力差，不能有效提升商业嗅觉。
 
资源需求无法弹性适配。
 
不能有效支持企业生命周期发展。
 
多DC分散管理协同性差，商业注意力难以集中。
 
解决传统问题的最佳途径—云计算：
 
虚拟化：大模块集群，资源全面虚拟化。
安全可靠：端到端安全设计，高可用性软硬件架构，跨域容灾。
自动化：自动资源分配，故障自愈，可运营自主服务。
绿色：能耗智能管理，模块化机房，智能测量评估。
 
数据中心趋势 — 数据中心迈向云时代：
 
数据中心发展过程：
 
主机时代：分散化
 
局域网架构，大小型机构建，小型数据中心。
互联官网时代：集中化
 
WWW网架构，X86服务器参与共建，各种大型数据中心涌现。
云计算时代：模块化
 
云计算架构，X86服务器主流，模块化部署。
 
虚拟化、云计算技术牵引新一代数据中心系统架构的迁移。
 
下一代数据中心架构与场景
 
下一代数据中心整体架构：
 
 


 图：下一代数据中心整体架构
 

 
下一代数据中心场景一：运营商IDC公有云
 
 


 图：IDC共有云场景方案
 

 
为IDC运营商提供端到端的IDC公有云解决方案：
 
提供多种云计算业务和传统业务组合。
提供一站式整体IDC运营管理方案。
提供云计算华为物理环境的同一IT运营管理方案。
提供高性价比的资源池化平台。
 
业务价值：
 
摆脱传统IDC业务类型同质化竞争。
特色的云业务和应用服务带来新的盈利和管道流量的创收。
实现传统业务和云计算业务统一运营，提升运营能力。
降低IT管理复杂度和OPEX，提升管理效率35%以上。
提升IDC资源使用率，节省CAPEX投资30%以上。
 
下一代数据中心场景二：园区IDC公有云
 
 


 图：园区IDC公有云
 

 
场景方案：
 
网络租赁方案
业务开展服务器租赁方案
数据存储租赁方案
数据库租赁方案
桌面云方案
安全服务方案
 
业务价值：
 
零成本创业、低成本迁移
 
快速创建云主机
 
低成本桌面云
贴心服务、政企沟通
 
总包式服务
 
灵活多样的定制服务
资源配置智能
 
随需应变的弹性服务
 
支持企业全业务发展
支撑能力全面
 
移动服务的全园区覆盖
 
随时随地响应业务
 
下一代数据中心场景三：电子政务IT托管私有云
 
 


 图：IDC IT外包–政府场景
 

 
IDC电信运营商为政府提供政务外网的应用外包方案建设和应用外包服务:
 
三数据中心容灾和远程数据备份方案
针对ITO设计典型的IT服务流程和IT管理方案
网络对接方案设计实现网络的可靠性和网络质量
提供访问安全、网络安全和数据安全保障
 
业务价值：
 
政务外网的托管带来管道业务流量的增长创收；
政府作为核心大客户带来长期稳定的盈利；
政府客户的特性确保稳健的现金流；
政务网外网的托管实现将多年运维经验转化为盈利能力；
政务外网新业务的开展实现业务创新，带来整体竞争力的提升。
 
下一代数据中心场景四：大企业IT托管私有云
 
 


 图：IDC IT外包-大企业场景
 

 
IDC电信运营商为企业客户提供应用外包方案建设和应用外包服务:
 
提供高性价比的虚拟化计算平台
提供可扩展的整柜方案满足IT架构的动态扩展
提供三数据中心容灾和远程数据备份方案
提供访问安全、网络安全和数据安全保障
 
业务价值：
 
大企业IT的托管带来管道业务流量的增长创收；
大客户带来长期稳定的盈利；
大企业IT的托管实现将多年运维经验转化为盈利能力；
添加增值业务，承载高附加值服务，带来整体竞争力的提升。
 
下一代数据中心关键技术：
 
数据中心热点技术：云计算、数据中心网络、容灾备份、安全技术、绿色机房、运营管理、整合迁移、虚拟化技术等。
 
云计算：
 
云计算是一种提供动态、弹性的虚拟化资源的服务模式
从服务层次的角度，可分为IAAS, PAAS, SAAS
 
云计算的特点：
 
高效
 
存储利用率: 40% 
 内存利用率50% 
 虚拟化性能损耗<5%
开放性
 
兼容主流的服务器 
 统一管理主流的虚拟化平台 
 支持DTMF, Amazon API
自动化
 
智能资源调度 
 自动化部署
 
虚拟化技术：
 
虚拟化前：IT资源独立，操作系统必须与硬件紧耦合。
 
虚拟化后：资源抽象成共享资源池，上层操作系统与硬件解耦，操作系统从资源池中分配资源。
 
虚拟机四大特点：
 
分区：在单一物理机上同时运行多个虚拟机。
隔离：同一物理机上多个虚拟机相互隔离。
封装：整个虚拟机执行环境封装在独立的文件中。
独立：虚拟机无需修改可运行在任何物理机上。
 
端到端的安全防护：
 
云数据中心面临的各种威胁，对安全解决方案提出更全面的要求。
 
防火墙安全
 
防火墙、 VPN接入、多因素身份认证、流量清洗、安全域划分、多因素身份认证。
虚拟化安全
 
云管理应用加固、恶意虚拟机防护、虚拟机模板安全加固 、HyperVisor加固 、虚拟机隔离。
数据安全
 
云管理应用加固、HyperVisor加固、数据加密密钥管理。
用户管理
 
身份识别访问管理、双因素强认证、特权用户访问管理审计。
 
数据中心灾备：
 
 
数据中心绿色机房：
 
 
数据中心网络，扁平化、模块化：
 
 
数据中心统一管理，简化管理、敏捷运营：
 
 
数据中心整合迁移技术：
 
 
 
 
 
云计算是下一代数据中心的核心技术，虚拟化技术是云计算的灵魂，而在云数据中心的环境里安全，容灾等技术是客户关注的重点技术。数据中心网络，管理，机房属于数据中心的基础技术，如何实现传统数据中心到云数据中心过渡和迁移是数据中心技术的又一个热点技术。
 
 

数据中心与云数据中心
 数据中心（DC，DataCenter）是指在一个物理空间内实现信息的集中处理、存储、传输、管理等功能，它包括服务器、存储、网络等关键设备和这些关键设备运行所需要的环境因素，如供电、制冷、消防、监控等关键基础设施。
 云数据中心是一种基于云计算架构的，计算、存储及网络资源松耦合，完全虚拟化各种IT设备、模块化程度较高、自动化程度较高、具备较高绿色节能程度的新型数据中心。云数据中心有以下特点：
 1、高度的虚拟化，这其中包括服务器、存储、网络、应用等虚拟化，使用户可以按需调用各种资源；
 2、自动化管理程度，包括对物理服务器、虚拟服务器等的自动化管理。
 

 
 
传统的大型企业数据中心是一个物理分层的架构，采用烟囱式构建基础架构的方式，存在建设与运营成本高、资源利用率低、服务SLA保证困难、管理复杂等诸多挑战
 
 
数据中心发展趋势
 
随着云服务业务的发展，运营商和企业的云服务形态也在不断变化，数据中心发展趋势应是建设高效节能与运营成本合理的数据中心，支持企业或机构业务的持续发展，满足对业务的全生命周期管理需求：高利用率、自动化、低功耗、管理自动化等成为新一代数据中心建设的关注点
 
数据中心的分布化建设和集中化管理成为方向 
  
数据中心向基础设施的分布式建设和管理的集中化方向发展 
数据的集中化管理和数据中心的整合是当前信息化发展的方向 
行业需求推动的技术发展趋势将支撑数据中心的分布式建设 
 
数据中心提供整合的网络、存储和计算能力，管理工具的重构和发展将成为核心的控制点 
  
可编程的虚拟网络交换方式将带来更多挑战和机会 
数据中心竞争将由单个设备竞争变化为提供整个网络架构的竞争 
数据中心基础设施管理系统将成为未来数据中心的核心控制点 
 
数据中心向全方位服务化方向发展 
 
    数据中心成为服务中心--通过IaaS/PaaS/SaaS等不同层级的服务，为企业用户提供方便灵活的业务选择(IT成本分析、桌面帮助、IT服务管理和数据中心基础设施监控等)，是多种服务的承载容器，也是数据中心发展的必然趋势
 
向基于云计算技术的软件定义数据中心发展 
  
资源全面池化 计算虚拟化向存储虚拟化和网络虚拟化发展，基于SDN技术为实现基于业务需求的可编程、高度弹性和动态、大规模的虚拟化网络提供技术支撑，数据中心存储虚拟化后构成统一资源池(NSA、SAN等) 
资源按需分配 计算、存储、网络和安全等所需资源、基于SLA的虚拟数据中心(VDC)服务，VDC部署时间下降到分钟级，资源按需快速发放 
混合云 未来几年，会出现以IT服务交付为服务重点的私有云服务企业，企业应评估哪些术语商品服务，并将它们转移到公有云，私有云 公有云技术的混合成为混合云 
 
安全与可靠性成为未来数据中心的基础能力 
 
    安全性是指包括防火墙、IPS/IDS、防病毒入侵检测以及自然灾害在内的安全防范措施。在规划数据中心建设的初始阶段，就应该构建可靠的容灾方案，或建立异地灾备中心，通过技术手段保障业务的连续性和数据的安全性
 
分布式云数据中心解决方案架构
 
分布式云数据中心是物理分散、逻辑统一、业务驱动、云管协同、业务感知的数据中心，以融合架构(计算、存储、网络融合)作为资源池的基础单元，构建SDN业务感知网络，通过自动化管理和虚拟化平台来支撑IT服务精细化运营
 
其核心理念在于：物理分散、逻辑统一。将企业分布于全球的数据中心整合起来，使其像一个统一的数据中心一样提供服务，通过多数据中心融合来提升企业IT效率；去地域化、软件定义数据中心、自动化是这个阶段的主要特征。逻辑统一由两个方面的含义：依赖DC2(分布式数据中心简称)提供统一的运维管理支撑平台将所有数据中心及其资源统一管理、调度和运维支持，分权分域管理；DC2提供统一的服务平台来对外提供服务
 
DC2将多个数据中心看成一个有机整体，围绕跨数据中心管理、资源调度和灾备设计，实现跨数据中心云资源迁移的云平台、多数据中心统一资源管理和调度的运营运维管理系统、大二层的超宽带网络和软件定义数据中心能力
 
分布式云数据中心的价值
 
 
 降低TCO，提高ROI DC2采用虚拟化技术，消除软件对运行软件的硬件的依赖性，可以将利用率不足的基础结构转变成弹性、自动化和安全的计算资源池，供程序按需使用。通过资源整合和自动化帮助企业降低运营成本；通过分布式技术实现多个数据中心资源的逻辑统一和高效利用，降低对基础架构的投资；通过灾备服务和基于资源负载均衡的跨数据中心应用迁移来提升应用的可用性和资源利用率，从而为企业节省大量资金 
提供业务敏捷性，加快上线速度，提高用户的满意度 DC2在虚拟化技术上，提供了资源的按需服务能力，提供全方位的管理、业务自动化能力。通过自助服务，用户可以按需自助申请所需的计算、存储、网络资源；根据用户不同应用需求提供不同的SLA水平的资源池服务，同时DC2具有灵活的弹性伸缩能力，根据用户配置的灵活调度策略，实现自动的水平、垂直弹性伸缩能力，从而保证IT能够快速响应业务变化 
 
分布式云数据中心提供的关键能力
 
 
采用虚拟数据中心方式为租户提供数据中心即服务(DCaaS) 
 
    虚拟数据中心(VDC)为租户提供DCaaS服务，是软件定义数据中心(SDDC)的一种具体实现。VDC的资源可以来自多个物理数据中心的不同资源池(资源类型分为虚拟化的计算、存储、网络以及Bare-metal物理机资源等)；VDC内的资源支持访问权限控制；VDC的网络可以由管理员自助定义，将VDC划分为多个VPC，VPC包括多个子网，并通过VFW、VRouter等部件进行安全、网络管理；VDC服务提供部分自助运维能力，包括查看VDC告警、性能、容量、拓扑信息，提供VDC级别的资源使用计量信息，方便租户计算计费信息
 
针对多种应用场景优化的云基础设施 
 
    目前主要针对四大场景：标准虚拟化场景，提供对普通应用虚拟化以及桌面等虚拟化方案的基础设施；高吞吐场景，主要针对OLAP分析型应用的支持，在存储和网络方面提供了优化；高扩展场景，对于需要快速水平扩展的应用，采用计算存储一体机方案提供快速扩展能力；高性能场景，主要对于OLAP应用，X86服务器替代小机等场景
 
基于SDN网络虚拟化技术的网络自动化和多租户 
 
    云数据中心基于SDN虚拟化网络技术，多租户云数据中心场景下每个租户可以自助定义自己的网络并自动化实践
 
统一灵活的数据中心管理能力 
 
DC2总体架构
 
 
DC2总体架构如上图所示，分为基础设施层、虚拟化层和服务层，各层都分别向上层提供接口供上层调用或对接
 
基础设施层 提供构建数据中心计算、存储和网络的资源能力，DC2提供针对多场景的POD配置方案，基于物理资源构建虚拟计算、虚拟存储、虚拟网络资源池 
数据中心管理层 数据中心管理层提供对虚拟计算、存储、网络的资源管理能力，支持镜像、服务管理、资源调度等方面能力，也提供SDN的网络虚拟化管理能力 
域管理层 提供对多个云数据中心的统一管理调度能力，提供以VDC为核心的DCaaS，VDC内提供多种云服务能力，也提供对虚拟物理资源的统一运维能力 
 
DC2逻辑部署图
 
分布式云数据中心在FusionManager架构和OpenStack架构下部署方式和部件会有所不同。下图描述的是传统FusionSphere部署架构下的各部件关系，运管采用FusionManager，RD支持跨数据中心的容灾管理，同时对接异地数据中心的FusionManager
 
 
下图则是在OpenStack架构下各部件的部署及连接关系，其中keystone部署在domain域，实现对多个OpenStack实例的统一认证管理。OpenStack平台原生提供适配易购虚拟化平台的能力
 
 
各个部件的功能描述
 
ManageOne 提供分布式云数据中心服务中心(SC)和运维中心(OC) 
  
SC 服务中心基于资源池提供的云和非云资源统一编排和自动化管理能力，包括可定制的异构和多资源池策略和编排，可定制的企业服务集成，可通过集成第三方系统补足资源池管理能力，特别是异构的传统资源自动发放能力 
OC 运维中心面向数据中心业务，进行场景化运维操作和可视化的状态/风险/效率分析，基于分析能力提供主动和可预见的运维中心 
 
FusionManager 它的定位是集成多个虚拟化软件和物理设备，提供统一硬件资源管理和虚拟化资源管理 
FusionCompute 提供网络、存储、计算资源的虚拟化，从而实现资源的池化 
RD(Replication Director) 提供分布式云数据中心的虚拟机容灾能力，支持主机复制方式将主虚拟机数据映射到容灾虚拟机，支持容灾切换 
HyperDP 提供分布式云数据中心的虚拟机备份能力 
VIS 提供存储虚拟化功能，配合系统提供双活容灾能力 
OpenStack 开运云管理系统，由多个部件构成，采用REST接口和消息队列实现部件解耦，支持对异构虚拟化平台管理(KVM、VMware、XEN等)。主要组件包括 
  
Nova 虚拟计算 
Glance 镜像 
cinder 虚拟磁盘 
neutron 虚拟网络 
swift S3存储 
keystone 认证 
Ceilometer 监控 
 
 
分布式云数据中心数据关系图
 
 
DC2中逻辑概念的关系是
 
Domain 代表数据中心管理系统的总范围，对分布式云数据中心来说包括多个物理数据中心及包含的物理虚拟资源 
Available Zone(AZ) AZ是对用户可见的，用户在资源申请时首先需要选择AZ。在同一个AZ区域内，存储是可达的，因此虚拟机在同一个AZ内可以迁移。AZ在同一个汇聚/核心交换机下 
VDC 虚拟数据中心，可以跨多个AZ，包括多个VPC 
VPC 是一个AZ内保证网络安全而划分的区域，各VPC网络间采用多种隔离技术，一个VPC仅属于一个AZ 
Host Aggregate 概念来源于OpenStack的定义，同一个Aggregate是具有相同属性的资源集群，属性通过元数据描述。资源分发时通过Scheduler部件来根据用户需求选择合适的Aggregate分配资源，一个Aggregate属于一个AZ 
 
分布式数据中心解决方案关键特性
 
 
虚拟数据中心
 
适用场景 
 
    企业私有云中，有独立管理租用资源并实现网络隔离需求的场景，每个VDC是一个具有自助运营、自运维能力的独立管理实体，可以支持一个或多个物理数据中心的资源。根据具体场景其划分方式可以灵活多样
    *     可以按部门划分，每个部门可以独立管理本部门资源
    *     可以按使用领域划分，例如：开发VDC、测试VDC
 
部署架构
 
SC FM方式部署 FM提供云管理能力和虚拟化平台的访问接口；SC提供VDC服务和VDC内包含服务的管理能力。SC作为VDC的服务提供方，VDC管理员和用户可以登录SC门户，可以自助管理VDC内的服务、网络和自助运维等；运维层面，VDC相关的信息可以从eSight或合作厂商的部件获取性能、告警信息，然后统一在OC上呈现，运维管理员可以在OC上对运维信息进行统一处理
 
SC OpenStack方式部署 采用OpenStack提供的服务作为基础云管理平台，SC提供VDC服务，SC和OpenStack利用OpenStack提供的REST API进行对接 
 
 
关键特性
 
多数据中心资源统一管理 VDC可以从多个物理数据中心的资源池中获取资源，数据中心采用Available Zone(AZ)方式提供资源池，选择不同的AZ也就选择了不同数据中心的资源池；每个AZ内部划分不同的Host Aggregate，不同Aggregate具备不同的SLA特性，由管理员根据SLA特性自助划分并对用户不可见，当用户提出SLA需求系统调度器将根据SLA需求在满足要求的Aggregate中选择资源 
VDC间的隔离 管理隔离、网络隔离和资源隔离 
配额管理 VDC支持对使用的资源进行配额控制，配额种类包括：VCPU个数、内存大小、VLAN个数、VPC个数、子网个数等 
用户管理 每个VDC支持独立的用户管理能力。VDC管理员可以授权某用户访问VDC的权限，获得权限后，用户可以登录该VDC并申请该VDC的服务；一个用户可以获得多个VDC的授权，从而成为多个VDC的用户 
服务管理 VDC管理员可以对服务目录和服务生命周期进行管理 
模版管理 VDC内支持多种服务模版，可以帮助快速定义新服务；VDC支持的服务模版包括: VN模版、VAPP模版，可以帮助管理员实现快速部署；支持所有VDC可见的全局模版和仅本VDC可见的局部模版 
服务自动化 为系统提供服务自动发放上线能力 
自助网络管理 VDC的自助网络管理利用底层SDN提供的基础能力，主要包括的功能有：VPC、子网、VDC虚拟网络拓扑 
自助运维管理 容量管理、拓扑管理、性能管理、告警管理 
支持服务列表 用户登录VDC自助服务门户，可以在服务目录看到多种预置的云服务，包括：云主机服务、物理服务器服务、EBS服务、虚拟防火墙VFW服务(弹性公网IP、SNAT/DNAT、基于状态的报文过滤ASPF、访问控制ACL、IPSec VPN、VLB服务、VAPP服务) 
 
SDN网络
 
SDN是一种新的网络框架，其本质是网络的可编程，SDN框架给用户提供最大的网络灵活度，租户可以灵活申请网络资源来满足自己的IT业务。在数据中心，SDN网络框架可以适用于如下场景
 
网络自动化 通过提供向北API，由上层管理软件通过调用API接口，实现网络自动化，提供即时的网络服务，为业务快速上线部署提供网络环境 
灵活的业务网络 基于SDN网络架构，将物理网络虚拟化，提供不同的业务网络，实现业务网络的灵活部署；提供多租户隔离，用户西定义网络策略实现保护数据中心内部的资源安全访问 
 
部署架构
 
分布式数据中心网络子系统采用SDN框架的网络设计，下图分别为DC2 基于 OpenStack 和 FM 的框架图
 
 
通过上述的SDN框架实现网络虚拟化，自动为每个租户提供所需虚拟网络环境，如下图所示
 
 
上图可以看出，核心交换机上配置VPN VRF和Internet VRF，VPN VRF与汇聚交换机上的VPN VRF对接，Internet VRF与汇聚交换机的 Global VRF对接，用户将租户之间的网络逻辑隔离；汇聚交换机上配置一个Global VRF，每个租户的虚拟防火墙都对接到Global VRF中实现对公网访问；汇聚交换机上配置多个VRF，用于为每个租户提供虚拟路由器，提供租户的业务网关路由功能，在VRF下配置三层网关用于提供业务网关，每个VRF将与租户的虚拟防火墙对接，实现对租户业务的保护；租户如果租用来虚拟负载均衡对接到虚拟路由器上，提供服务器的负载均衡功能，同时受虚拟防火墙的规则保护
 
虚拟交换机逻辑上接入到TOR交换机端口，每个租户有自己独立的虚拟交换机；虚拟交换机上有不同的端口组，不同端口组有不同的网络属性；虚拟机网卡可任意加入不同端口组，用户不同租户之间的隔离；同时租户可以创建多个安全组，一台虚拟机(通过不同的虚网口)可以找到不同的安全组内，不同的安全组有不同的安全访问策略保证租户内的虚拟机隔离
 
特性设计
 
多租户网络设计 数据中心支持多租户管理，能够在以较低成本合理利用资源，优化资源利用率；数据中心必须具备不同租户资源的隔离设计，确保端到端的隔离以及满足租户的安全要求。DC2采用虚拟技术支持多租户，在逻辑上划分成多个(每个租户)虚拟网络环境，每个虚拟网络拥有独立的路由表、地址空间、安全服务、配置管理 
DC内网络设计 
  
三层网络设计 在核心层或汇聚层使用VRF技术提供网络层(L3)之间隔离设计，保证每个租户有独立的路由转发表，不同VRF之间的数据流交互默认情况下将不被允许；每个VRF可以绑定多个三层网关，承载多个子网，为虚拟机或物理服务器提供网关功能。同一个VRF下的不同网关之间默认可以互相访问 
二层网络设计 支持VLAN ID或VXLAN两种不同二层的隔离域，一个租户内不同的二层网络之间转发需要通过网关设备才可以进行互通，不同的租户默认是无法互通的 
 
网络服务设计 
  
虚拟防火墙 将一个物理防火墙逻辑的虚拟出多个防火墙或在虚拟机上运行软件虚拟防火墙，每个虚拟防火墙有独立的路由转发表、安全服务策略、配置管理；租户修改其所属虚拟防火墙的配置时不影响其他虚拟防火墙的运行 
虚拟负载均衡 将物理负载均衡器逻辑的虚拟出多个负载均衡或在虚拟机上运行负载均衡软件，每个虚拟负载均衡有独立路由转发表、负载均衡策略、配置管理；租户修改其所属虚拟防火墙的配置时不影响其他虚拟防火墙的运行 
 
DC间网络设计 
  
Internet 数据中心之间支持Internet互连，所有租户之间的业务通过公网IP访问，可以支持跨数据中心的资源调度；由于Internet网络质量相对较差，可能会由于地理距离造成较大延迟 
VPN或者专线 企业异地数据中心之间可以通过租用运营商的VPN或专线资源实现物理DC之间的互通，VPN或专线链路质量相对稳定，是优先推荐的互连方式 
 
 
关键特性
 
多租户隔离 保证每个租户之间的网络资源互相隔离，拥有独立的网络控制平面、独立的数据转发平面以及独立的策略配置管理；不同租户之间的资源运行互不影响 
网络即服务 网络资源作为一种基础服务提供给最终用户，如subnet、虚拟防火墙、虚拟负载均衡、VPN服务 
网络自动化 基于网络设备功能的抽象，设计可编排的最小单元作为网络服务单元(网络对象)，通过业务需求的编排组合出不同的网络模型 
VXLAN的虚拟网络 主要的技术原理是引入一个UDP格式的外层隧道，作为数据链路层，而原有数据报文内容作为隧道净荷载来传输 
 
 
统一管理
 
主要针对的场景描述如下
 
多数据中心统一管理 存在多个物理数据中心需要进行统一管理的场景 
物理、虚拟统一管理 数据中心中存在虚拟资源和物理资源需要统一管理的，例如：支持对虚拟资源和物理资源的统一监控，拓扑管理等运维管理能力 
异构资源池统一管理 数据中心有异构的虚拟化平台需要统一管理，例如：同时有vSphere虚拟化和KVM虚拟化平台需要统一管理 
 
部署架构
 
云和非云统一管理 提供云资源和非云资源的统一管理能力 
  
非云资源管理 管理物理资源的性能、告警和拓扑 
云资源管理 管理云资源的自动化部署、操作能力；云资源的性能、拓扑、容量管理；云资源和非云资源拓扑映射关系 
 
 
 
异构虚拟化统一管理 针对不同的方案采用不同的异构虚拟化方式 
  
方案一 在采用FM作为云资源池管理节点的场景下，FM提供了对异构Hypervisor的适配能力主要包括FusionSphere和VMware的vCenter。FM对异构平台的适配采用接口调用方式，FM提供了适配VRM和vCenter北向接口 
方案二 采用OpenStack对多Hypervisor的适配能力来解决，目前支持KVM(OpenStack原生支持VMware、XEN、Hyper-V、KVM，目前除KVM外其他尚不能商用，商用需要各厂商对各自插件的服务支持) 
 
 
关键特性
 
 
云资源和非云资源统一监控能力 对云资源和非云资源的统一监控体现在对虚拟平台和物理资源的告警监控能力上，根据不同运维场景可选择不同的监控软件 
云资源和非云资源的性能管理能力 包括获取性能数据和性能阈值告警处理等 
  
虚拟机性能 支持和FusionManager及vCenter对接，监控虚拟化平台上VM的性能指标，包括CPU利用率、内存利用率、网络带宽、磁盘IO等 
物理资源性能 物理资源性能依赖于eSight或CA监控部件的指标获取；主要的对象有物理服务器，网络设备(交换机、路由器、防火墙等)，存储设备的性能监控；监控指标主要包括CPU利用率、内存利用率、网络带宽等，根据设备类型不同略有不同。监控采集层软件将监控结果上报给OC，由OC进行统一展现 
阈值告警 管理员可以定义性能阈值告警，在监控的资源性能指标超过了定义的阈值时，系统将自动产生告警，提醒管理员对响应的性能风险进行处理 
 
云资源和非云资源的拓扑管理能力 
  
物理拓扑管理 对物理资源的自动发现，物理资源连接关系的自动发现。拓扑数据的自动发现由CA部件提供，OC集成CA的拓扑数据并统一展现 
虚拟拓扑管理 提供VDC内部不同虚拟化部件拓扑关系的展现，由于虚拟部件和连接关系都可以由管理员自主定义，因此虚拟拓扑是根据创建的结果来定义的 
拓扑关系映射 虚拟网络是叠加在物理网络上的，因此存在虚拟网络设备和物理网络设备间的映射关系。例如：VFM是在哪个物理FM上创建，VLB是在哪个物理LB上创建等 
 
云资源的容量管理能力 通过OC从FusionManager获取云平台资源数据来实现；OC将统一展现当前云系统资源的使用情况；主要包括VCPU、内存、磁盘容量、带宽等资源的使用情况；缺乏对物理资源的容量管理能力，包括物理空间、存储空间、网络带宽的容量管理能力 
异构虚拟化平台管理能力 真的FusionSphere和OpenStack两种部署场景提供异构虚拟化平台的支持 
  
FusionSphere 采用FusionManager来屏蔽异构虚拟化平台 
OpenStack 天然支持多种虚拟化平台(KVM、XEN、VMware、LXC等) 
 
 
备份业务
 
用户在部署和使用虚拟机或应用时，为应对文件、数据丢失或损坏等可能出现的意外情况，往往需要对现有数据进行备份。分布式云数据中心解决方案针对备份业务提供来虚拟机备份框架和应用备份框架，其关键价值点有：提供基于虚拟机的备份，无需专用的备份系统，用户可以在服务Portal上自助完成虚拟机备份；提供基于代理的应用备份能力，用户可以按照应用或文件粒度进行应用备份
 
部署架构
 
分布式云数据中心的备份子系统，主要承载分布式云数据中心数据保护的功能，其架构目标如下
 
虚拟机备份系统采用无代理备份方式、以虚拟机为单元进行备份 
应用备份系统采用有代理备份，用户可以在系统内安装代理，实现应用数据的备份和恢复 
用户可以定义备份策略 
用户可以通过业务Portal实现虚拟机和应用的备份 
 
虚拟机备份子系统的框架及其构成
 
 
ManageOne管理平台 提供虚拟机备份自服务Portal，用户可以通过Portal对虚拟机进行备份的自助操作 
虚拟化平台 FusionSphere平台，提供虚拟机快照功能，和HyperDP备份服务器配合提供虚拟机备份业务 
HyperDP备份服务器 部署在虚拟机内，虚拟机规格为4U4G及30GB系统盘，每个HyperDP备份服务器可备份200个虚拟机，最多可部署10个备份服务器组成一个备份域 
备份存储 备份HyperDP虚拟机关在的虚拟磁盘，或备份到NFS/CIFS共享文件系统中 
 
用户通过ManageOne下发备份策略到FusionManager，由FusionManager下发到HyperDP，HyperDP根据备份策略和虚拟化平台配合，针对虚拟机完成备份
 
应用备份子系统架构及其构成为
 
 
ManageOne 提供应用备份自服务发放Portal，用户可以通过Portal申请应用备份服务 
备份系统 
  
Simpana 协调和管理Simpana其他组件，发起数据保护、管理和恢复操作 
Simpana MediaAgent 在备份客户端与存储介质之间传送数据 
Simpana Proxy 用于备份客户端与CommServe、MediaAgent间的通信转发；用于管理节点与CommServe通信，实现备份业务的开通、注销，报告获取等 
Simpana CommCell Console 用户通过Simpana控制台，实现执行备份、查看备份历史、浏览和恢复数据等操作 
Simpana客户端安装包 定制化的Simpana客户端代理程序安装包，供用户下载安装到需要备份的主机上 
下载Portal 提供Web页面供用户选择下载所需Simpana客户端安装包 
 
备份客户端 
  
Simpana FS iDataAgent 用于备份和恢复主机的文件系统 
Simpana xx iDataAgent 用于备份和恢复主机上的某种应用，比如Oracle、Exchange等，一种应用对应一种代理组件 
 
 
关键特性
 
虚拟机无代理备份能力和服务
 
云主机用户可以根据业务需要自助申请云主机备份服务，云主机备份为无代理备份，用户无需额外安装代理软件；用户可对云主机做整机备份 
用户可以自定义备份策略 
支持虚拟机整机恢复，当用户选择整机恢复室，系统将为用户创建一个新的虚拟机，并将用户的所有数据恢复到新的虚拟机上 
适用于服务器虚拟化、数据中心、一体机、桌面云场景下用户虚拟机的备份 
支持生产存储为虚拟存储(基于SAN、NAS或本地磁盘)及FusionStorage下的虚拟机备份 
 
虚拟机的备份采用无代理的备份，一来虚拟化平台提供的虚拟机快照技术实现；虚拟机备份是周期性进行的，每次备份备份服务器都会通过虚拟化平台提供的北向接口创建一个新的虚拟机快照，完成数据增量计算和数据下载后，删除上一次备份的虚拟机快照。其关键技术是
 
虚拟机快照 利用FusionSpherre的写时重定向技术(Redirect on Write)实现--在虚拟机磁盘文件被修改时，可以不修改原磁盘文件，而是将修改区域记录在另一个差分磁盘中，将差分磁盘的父磁盘指向原磁盘文件，使得虚拟机在从差分磁盘文件中读取数据时，能够自动从原磁盘文件中获得需要的数据；当虚拟机生成快照时，虚拟机将当前状态保存在快照文件中，包括磁盘内容、内存和寄存器数据 
数据备份过程 
数据恢复过程 
约束 
 
应用备份能力
 
应用备份以数据中心管理员手工操作为主；用户可以根据业务需要线下向管理员申请应用备份服务；管理员在备份系统上增加相关权限和业务配置后，通知用户下载备份代理进行相关的备份业务 
用户可以在备份平台上自己定义备份策略 
用户可以根据需要备份应用，下载不同的备份代理软件，系统可以支持应用备份和文件粒度的备份 
支持基于SAN、NAS或VTL作为备份存储 
兼容多种应用和操作系统 
 
容灾业务
 
为保证企业的业务连续性，企业除了对业务数据做备份外，通常还需要建立容灾系统。容灾系统是指在相较远的异地建立两套或多套功能相同的系统，系统之间可以相互进行健康状态监视和功能切换，当一处系统因意外停止工作时，整个应用系统可以切换到另一处，使得该系统功能可以继续正常工作。容灾系统需要具备较为完善的数据保护与灾难恢复功能，保证生成中心不能正常工作时数据的完整性及业务的连续性，并在最短时间内由灾备中心接替，恢复业务的正常运行，将损失降到最小
 
部署架构
 
分布式云数据中心容灾子系统，提供基于IaaS层的容灾方案，包含
 
基于存储阵列复制的云平台主备容灾框架 通过存储系统的远程复制实现生产中心到容灾中心之间虚拟主机或应用的数据保护；根据业务的RPO要求以及生产中心与容灾中心的网络状况，可以选择同步复杂或异步复制
 
基于主机复制的云平台主备容灾框架 主要是通过虚拟化平台的Hypervisor层进行IO不活与复制，实现虚拟主机数据的远程复制。具有实时IO分流复制、复制网关、可扩展和存储无关等特点 
 
 
基于VIS的云平台双活容灾部署框架
 
 
基于VIS的云平台双活容灾是结合VIS集群技术和云平台Active-Active模式部署技术实现的装货容灾方案。通过在云平台与存储阵列之间部署VIS集群，多个VIS节点按Active-Active模式分布在本地和远端，并结合VIS的镜像技术，可以支持本地和远端同时访问共享存储；实现容灾倒换后存储业务的无缝切换；同时云平台同一个集群内的主机按照Active-Active模式分布在本地和远端，利用虚拟的HA功能实现容灾自动倒换功能
 
安全业务
 
一个体系化的分布式云数据中心安全解决方案必然应该覆盖所有组成元素，且安全元素支持逻辑隔离，而不能单用传统的技术手段、物理边界实现其全部的安全保障。安全子系统架构目标
 
模块化 从物理层安全、网络安全、主机安全、应用安全、虚拟化安全、用户安全、安全管理、安全服务八块内容进行设计 
端到端安全 实现用户从接入、使用、完成退出的端到端的安全防护 
低耦合 涉及到数据、网络、应用等各个层面的安全防护，但整个安全架构体系具备低耦合性的特点，各种安全技术之间不存在强关联性 
逻辑隔离 
易扩展 
合规性 
 
部署架构
 
分布式云数据中心从分层、纵深防御思想出发，根据层次分为物理设施安全、网络安全、主机安全、应用安全、虚拟化安全、数据保护、用户管理、安全管理等几个层面，全面满足用户的各种安全需求，安全子系统架构图如下
 
 
该架构中包含以下安全层面的能力
 
物理设施安全 
网络安全 
主机安全 
虚拟化安全 
应用安全 
数据安全 
用户管理 
安全管理 
安全服务 
 
关键特性
 
网络安全防护 
  
虚拟防火墙 
软件虚拟防火墙VSA 
安全组 
下一代防火墙统一威胁防护 
VDC网络安全防护框架 
防IP及MAC仿冒 
DHCP隔离 
广播报文抑制 
 
虚拟化无代理防病毒 
TPM完整性保护 
 
ManageOne简介
 
ManageOne在解决方案中承担CMP(Cloud Management Platforms)的职责，通过自研和集成的方式，为企业客户提供对企业私有云资源及企业租用的公有云资源统一管理的能力，包括租户自助服务节目，云产品管理和产品目录，计量，计算、存储和网络资源自动化配置，云服务和云资源的运维监控等
 
 
特点
 
ManageOne系统特点包括：多级VDC管理、一云多池、混合云管理、虚拟化资源池管理、主动式运维、云服务运维、多级云统一运维、开放易集成、多规模部署等
 
架构
 
ManageOne产品架构主要介绍ManageOne的运维面和运营面，以及ManageOne与周边系统的关系。ManageOne围绕云服务及其依赖的基础设施资源提供运营和运维监控能力
 
提供云服务运营管理能力 ManageOne提供云产品管理、租户管理、VDC管理等能力，运营业务能力由云服务提供，从而实现云服务的统一运营管理 
提供云服务及虚拟资源运维监控能力 ManageOne基于南向对接系统中抽取的资源对象的告警、性能、拓扑等信息，对资源进行监控、统计、分析与预测，从而实现云数据中心资源的统一运维管理 
提供对基础设施的运维监控能力 ManageOne提供对计算、存储、网络设备的运维监控能力，采集和监控告警、性能等数据，从而实现基础设施的统一运维管理 
 
 
小结
 
文章介绍分布式云数据中心解决方案，其中涉及许多虚拟化技术，若有兴趣可深入研究
 
参 考 文 献
 
[1] Distributed Cloud Data Center V100R001C10
 
[2] ManageOne6.5.1

7.1 多数据中心的业务诉求场景
 
7.1.1 多数据中心的业务场景分析
 
主流需求：虚拟化和资源池化，形成多活，可就近提供服务
 
1. 业务跨数据中心部署
 
 
2. 两地三中心
 
是指在同城双活的数据中心基础上，增加一个异地灾备数据中心，与同城双活实现数据同步
 不同数据中心的子系统间需要二三层互通，相同组系统的安全策略需要一致，对外提供相同的服务，形成双活
 
 
3. 网络级容灾
 
如果将数据中心的服务器部署于不同的数据中心，当某个数据中心发生故障时，集群内的其他数据中心的服务器仍可提供服务，可实现跨数据中心的应用系统容灾。
 服务器跨数据中心部署需要网络提供跨数据中心的大二层能力
 
 
4. 分布式云化
 
站点之间可以提供多活，随时可以实现故障切换，并且边缘DC就近提供服务，时延小，用户体验好。
 在此场景下，数据中心之间需要进行二三层互通。
 
 
7.1.2 多数据中心的网络需求分析
 
 
1. 业务跨数据中心部署
 
某些VPC（可以理解为一个逻辑上的服务，一个APP）可能跨越多个Fabric，同时需要安全的路由隔离和防火墙隔离
 
2. 不同业务（VPC）之间互通
 
VPC之间通常为三层互通，如果需要二层互通，则建议将互通的VM划分到同一个VPC中
 
3. 通过SDN实现自动化部署
 
自动化部署分两步，首先需要将跨数据中心的虚拟化网络编排出来；其次编排出虚拟化网络后需要在各数据中心进行实例化
 
4. 跨数据中心的业务容灾多活
 
在多个数据中心部署相同的业务，但是IP地址不同，通过GSLB实现多活
 另外，为了满足某些业务迁移到容灾数据中心后IP地址不能改变，则需要跨数据中心的二层互通，同时需要主备或多活的访问外网的网关
 
小结：
 
其实多数据中心网络最需要的诉求就是跨数据中心的网络二三层互联。而不同的层面有不同的互联需求，多个数据中心之间互联需要解决以下几个问题：
 
数据同步和数据备份，需要存储互联。解决方案：存储互联一般通过波分或者裸光纤
跨数据中心部署HA内部的心跳或者虚拟机迁移需要大二层互通。解决方案：应用集群或者虚拟机迁移，需要大二层网络，首选VXLAN
业务之间互访需要跨数据中心三层互通。解决方案：VXLAN提供的L3VPN
不同数据中心前端网络，即数据中心外联出口，通过IP技术实现互联。解决方案：通过动态路由或者静态路由实现互联
 
7.1.3 Multi-DC Fabric方案整体架构和场景分类示例
 
1. 方案整体架构
 
架构分为下图中的三个层次，可以等同于控制层，Underlay和Overlay
 
 
2. 方案场景细分
 
主要分为Multi-Site和Multi-PoD两种场景
 下面解释几个关键的概念：
 PoD：强调的是一组相对独立的物理资源
 Multi-PoD：一套SDN控制器管理的多个PoD，是由端到端VXLAN隧道构成的一个VXLAN域，PoD之间的距离不会太远，通常位于同城近距
 Site：由SDN控制器管理的资源池，是一个或多个PoD，也是由端到端VXLAN隧道构成的一个VXLAN域
 Multi-Site：多个AC（控制器层面的一个Site）管理域之间互通，即多个Multi-PoD之间的互通，是多个VXLAN域，对距离不敏感，可异地部署
 方案对比：
 
 层次化Multi-DC Fabric：
 Multi-Site和Multi-PoD的一种组合场景
 
 典型案例就是两地三中心，即一个Multi-PoD的Site和一个单PoD的Site组成的一个大数据中心
 
两种组网方案的详细讲解
 
Multi-Site
 
《云数据中心网络架构与技术》读书笔记 第七章 构建多数据中心网络（2/3）
 
Multi-PoD
 
《云数据中心网络架构与技术》读书笔记 第七章 构建多数据中心网络（3/3）