精华内容
下载资源
问答
  • 云数据中心的云管理层
    千次阅读
    2021-10-23 21:54:50

    目录

    SDN 网络技术

    通过 SDN 网络技术,可以将数据中心的网络架构划分为 2 大部分:

    • Underlay Network:传统的 Switch、Router、Firewall 等物理设备组成的路由交换互联网络。
    • Overlay Network:基于网元虚拟化技术、以及网络虚拟化技术实现的的 Overlay VPC 网络。

    在这里插入图片描述

    Overlay Controller

    MSDC(大规模数据中心)中的 Overlay Network,也就是大家耳熟能详的,笔者更愿意称之为 “狭义 SDN” 的软件定义网络技术。目前主要有以下 3 大流派,控制面是一色的 SDN Controller。

    1. Route on the Host
    更多相关内容
  • 05-云数据中心IT基础设施概述

    千次阅读 2020-07-08 23:58:38
    云数据中心IT基础设施概述 1.云数据中心架构 硬件基础设施:各种各样的服务器,存储设备,网络设备,提供计算,存储,网络资源 云平台:华为FsionSphere解决方案,使用FusionCompute或VMware ...

    云数据中心IT基础设施层概述

    1.云数据中心架构

     

    1. 硬件基础设施层:各种各样的服务器,存储设备,网络设备,提供计算,存储,网络资源

    2. 云平台层:华为FsionSphere解决方案,使用FusionCompute或VMware vSphere虚拟化软件,可以底层物理服务器和存储设备虚拟化成计算资源和存储资源。使用FusionStorage可以将服务器的本地硬盘部署成分布式存储。使用FusionNetwork可以对接SDN控制器,纳管底层网络设备。

      然后使用FusionSphere OpenStack云平台统一纳管FusionCompute或VMware vSphere,FusionStorage,FusionNtework。实现资源异构融合,屏蔽底层架构,对外展现出一个云资源池。(异构体现在可以纳管不同厂商的虚拟化软件,融合体现在可以纳管多种资源,统一管理和调度)

      FusionSphere OpenStack OM则是用来管理,监控FusionSphere OpenStack 中的云资源池

      eBackup则是对虚拟机提供备份功能的一个工具

    3. 运营运维层:ManageOne ,包括两个工具 SC(服务中心)提供运营功能, OC(操作中心)提供运维功能

      SC:对外提供云服务,用户可以在SC中申请云服务,对内管理OM,用户申请的云服务,通过SC去调度OM中的资源池

      OC:供管理员进行运维,管理各种告警,资源监控等

     

     

    2.服务器介绍

    1.E9000定位

     

    E9000是面向弹性计算、电信计算的高性能企业级高端服务器,能够实现计算、存储、网络的融合,支撑运营商、企业高端核心应用。在硬件计算平台的RAS(Reliability, Availability, and Serviceability)、计算密度、节能减排、背板带宽、智能管控与服务、计算与存储的弹性配置和灵活扩展、网络低时延和加速方面具有领先的竞争力:

    • 提供与小型机相当的品质和服务能力,为电信运营商、企业软件业务提供持续的竞争力提升。

    • 在运营商的通用业务、互联网业务,提供与业界通用低成本服务器相同的竞争力。

    • 为计算与数据/媒体融合的业务提供高带宽、低延时的交换能力,支持计算与媒体的融合。

    E9000作为满足任意工作负载需求的支持计算、存储、网络融合的模块化基础设施,其典型应用场景如下:

    • 云计算:E9000提供高性能CPU和超大容量内存计算节点,适用于虚拟机灵活部署。更有内置大容量低功率存储节点,能提供高吞吐的共享存储,满足弹性计算应用的要求。

    • 高性能计算:E9000可应用于高性能计算,提供高性能、低延时的InfiniBand交换。

     

    2.E9000产品特点

     

    作为一个通用的业务处理平台,将计算、存储和网络融合到一个12U的机箱内,构筑领先的硬件基础平台。

    高性能计算节点:

    • E9000可支持全系列的Intel® x86 CPU,并能匹配未来多代CPU的演进

    • 支持丰富的计算节点规格:2S/4S和半宽/全宽槽位计算节点灵活配置

    • 计算节点通过Mezz扣卡支持丰富的网络接口和加速卡,以满足各种高性能需求

    内置大容量存储

    • E9000提供半宽存储资源扩展模块,与半宽计算节点配合使用,组成全宽计算节点,实现存储和计算合一

    • 支持15个2.5英寸SAS/SATA HDD或SSD硬盘

    • 硬盘以活动抽屉方式排布,支持单个硬盘在线插拔

    • Write Cache支持掉电保护

    大容量交换:

    • E9000内置新一代具备数据中心特性的交换模块,既可以作为硬件平台内部模块的交换单元,也可以作为中小容量多框集成的汇聚交换机,有利于简化数据中心组网,降低成本

    • 新一代内置交换机采用华为公司新一代的VRP操作系统,支持丰富的数据中心特性和高性能的堆叠,既可独立使用,也可配合外部大容量交换机配合构建弹性、虚拟化和融合的云时代数据中心网络,满足云时代数据中心对网络的需求

     

    3.RH2288v3服务器

     

    RH2288 V3适用于高性能计算、数据库、虚拟化、以及企业基础应用和电信业务应用,具有高性能计算、大容量存储、低能耗、扩展能力强、高可靠、易管理、易部署、支持虚拟化等优点。

    采用最新的Intel® Xeon® E5-2600 v3/v4系列处理器,最大单处理器可达18核。

    精细化功耗控制提高能源利用率。

    最大可支持16个3.5英寸硬盘或28个2.5英寸硬盘,满足业务对存储容量的扩展需求。

    支持5种硬盘配置:

    • 配置8个2.5英寸SAS/SATA/SSD硬盘

    • 配置10个3.5英寸SATA硬盘

    • 配置12个3.5英寸SAS/SATA硬

    • 配置24个2.5英寸SAS/SATA硬盘

    • 配置25个2.5英寸SAS/SATA/SSD硬盘

    • 支持的内置Flash存储:双SATA DOM双SD卡。

     

     

    存储设备介绍

    1.OceanStor 5600/5800 V3整体

     

    华为V3系列存储采用最新技术,有如下特点:

    • 全新硬件架构,性能与规格全面领先:支持16G FC/10G FCoE等主机接口, 可提供高达40GB/s的系统带宽; 4TB缓存容量及8PB存储空间

    • 支持SAN与NAS一体化,兼容SAN和NAS两种制式,满足业务弹性发展,简化业务部署,提升存储资源利用率,有效降低TCO

    • 支持8控,性能容量可线性扩展,控制器间负载均衡互为热备,可靠性更高,资源集中存储,轻松管理

     

    2.控制框

    5600 V3/5800 V3采用盘控分离(3U独立机头)结构,控制模块和BBU模块都提供冗余高可用特性

     

    多个控制框支持级联管理

     

    3.端口

    所有端口采用模块化设计,可以方便更换升级

     

    4.硬盘框

    硬盘框提供硬盘容量,需连接到控制框

     

    硬盘框通过Mini SAS HD线缆连接到控制框,或级联其他硬盘框,实现容量扩展

     

     

    3.交换机介绍

    1.CE系列框式交换机

    Huawei CloudEngine 12800(以下简称CE12800)系列设备,是华为针对数据中心应用推出的新一代核心交换机。CE12800采用了全新的体系架构,可广泛用于各类数据中心的汇聚、核心层,也可作为园区组网的高性能机型使用。

    当前版本CE12800系列设备,包括CE12804、CE12808、CE12812、CE12816、CE12804S、CE12808S共六款,其中CE12804S和CE12808S为V100R005C00版本新增款型。

    CE12800可用于数据中心的核心、汇聚层,服务器通过GE或10GE链路上行到TOR(Top of Rack)/EOR(End of Row)交换机,TOR/EOR交换机再通过10GE或40GE链路上行汇聚到核心交换机CE12800。

     

    2.CE系列盒式交换机

     

    4.数据中心核心汇聚组网方式

    1.胖树组网

    传统数据中心中的流量模型以南北向为主,即流量主要来自于外部客户端的请求和服务器的纵向交互,由于数据中心出口的带宽限制较大,因此传统数据中心往往采用“接入->汇聚->核心”的三级组网模式,这种模式下,网络有较大规模的收敛。

    10GE服务器和虚拟机负载的普及,导致数据中心东西向流量的迅速增加,传统高收敛比的三层组网已无法满足新流量模型的需要。因此,基于CLOS架构的胖树组网应运而生。

    根据业务需求和网络设计的偏好,TOR和核心交换机之间可以部署为二层网络或者三层网络。当部署三层网络时,TOR和核心交换机之间通常可运行IGP协议(比如OSPF),TOR上行通过(基于IP的)ECMP分流到不同的核心交换机节点。

    当部署二层网络时,可以运行传统的MSTP防止环路,但存在链路阻塞浪费带宽、收敛相对较慢的风险。为提高数据中心网络的链路利用率和可靠性,也可以运行TRILL(Transparent Interconnection of Lots of Links)协议,通过TRILL协议构建大型二层无环网络,TOR通过ECMP上行到不同的核心交换机节点。

     

    2.CSS组网

    CSS是将多台物理核心交换机聚合成单台逻辑核心交换机使用的方式,这使得TOR上行双归(或多归)到多台设备时的多个独立的链路变成了到一个逻辑设备的一组聚合链路LAG,TOR和逻辑核心交换机之间形成了点到点的连接,因而无需部署MSTP来避免环路,同时又不需要部署复杂的协议。相对于胖树多平面组网和TRILL部署,对于中小型数据中心,CSS是一种灵活的、轻量级的部署方式。

    CSS组网下,TOR(或TOR堆叠)和CSS之间实际上是“两台”交换机的连接,因此可以灵活部署二层网络、也可以部署三层网络。

     

    展开全文
  • 云数据中心网络安全技术

    千次阅读 2021-03-10 14:59:31
    云数据中心网络安全业务需求 云数据中心安全现状 云平台安全威胁逐年加剧。 云数据中心威胁主要来自于黑客攻击、恶意用户和用户误操作。 主要威胁有特权滥用、DDoS攻击、数据泄露和误操作等。 云数据中心网络...

    云数据中心网络安全业务需求

    云数据中心安全现状

    1. 云平台安全威胁逐年加剧
    2. 云数据中心威胁主要来自于黑客攻击、恶意用户和用户误操作
    3. 主要威胁有特权滥用、DDoS攻击、数据泄露和误操作等。

    云数据中心网络概述

    数据中心(Data Center):是一整套包括建筑在内复杂的设施。它不仅包括计算机系统和其它与之配套的设备(例如通信和存储系统),还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置

    数据中心的使用分层架构。一般L1特指云数据中心基础设施,L2指云数据中心的ICT设备

    云计算的四类部署模式

    私有云(Private Cloud)

    — 企业利用自有或租用的基础设施资源自建的云

    私有云是为某个特定用户 / 机构建立的,只能实现小范围内的资源优化,因此并不完全符合云的本质 -- 社会分工。托管型私有云在一定程度上实现了社会分工,但是仍无法解决大规模范围内物理资源利用效率的问题。

    社区云/行业云(Community cloud)

    — 为特定社区或行业所构建的共享基础设施的云

    社区云是介于公有、私有之间的一个形式,每个客户自身都不大,但自身又处于敏感行业,上公有云在政策和管理上都有限制和风险,所以就多家联合做一个云平台。

    公有云(Public cloud)

    — 出租给公众的大型的基础设施的云

    公有云是为大众建的,所有入驻用户都称租户,不仅同时有很多租户,而且一个租户离开,其资源可以马上释放给下一个租户。公有云是最彻底的社会分工,能够在大范围内实现资源优化。

    混合云(Hybrid cloud)

    — 由两种或两种以上部署模式组成的云

    混合云是公有云、私有云、社区云几种的任意混合,这种混合可以是计算的、存储的,也可以两者兼而有之。在公有云尚不完全成熟、而私有云存在运维难、部署实践长、动态扩展难的现阶段,混合云是一种较为理想的平滑过渡方式,短时间内的市场占比将会大幅上升。

    云数据中心

    业务呈现/协同层

    支持对接社区或第三方商业OpenStack云平台+第三方云管理平台。

    支持对接华为FusionSphere云平台+华为ManageOne云管理平台。

    FabricInsight的采集器将网络中的TCP SYN、FIN、RST报文镜像到分析器进行大数据分析,从而实现基于真实业务流量发现网络异常。

    AC北向与OpenStack Neutron对接,完成网络的建模和实例化自动编排下发网络配置,并负责将流量引流到VAS设备。

    SecoManager对接AC,实现VAS服务的编排和策略管理,完成VAS业务的建模、实例化和配置下发

    网络服务层

    由物理设备组成的基础物理组网,用以承载VXLAN Overlay网络。

    由物理或虚拟设备提供VAS服务。

    ( Value-added logistics service) 暂时没有统一的定义,但其核心内容是指根据客户需要,为客户提供的超出常规服务范围的服务,或者采用超出常规的服务方法提供的服务。 1994 我国物流协会对增值物流的定义为“在完成物流基本功能基础上,根据 客户需求 提供的各种延伸业务活动”

     

    计算接入层

    支持虚拟化服务器和物理服务器的接入,并支持裸金属服务器的自动化发放。

    vSwitch实现VM接入的网络和策略配置

    云数据中心的服务模式

    IaaS(基础架构即服务)

    PaaS(平台即服务)

    SaaS(软件即服务)

    云服务基本概念

    VDCVirtual Data Center,虚拟云数据中心。VDC是一个组织可使用资源的集合,一般包括计算、存储和网络资源

    VPCVirtual Private Cloud,虚拟私有云。VPC使用VDC中的资源,一个VPC只能属于一个VDC,而一个VDC可包含多个VPC。每个VPC为一个安全域,对应于一个业务/应用/部门。

    VDC是VPC的集合

    vRouter
    vRouter 作为业务子网的网关,用于子网间的三层互通。
    一个 VPC 只能有一个 vRouter.
    Subnet
    Subnet 用于二层广播域的隔离,对应于一个子网网段。
    同一 VPC 内不同 Subnet 的三层网关,都在同一个 vRouter 上。
    同一 Subnet 内默认互通;不同 Subnet 间默认互通,也可通过配置安全组进行隔离。
    vFW
    vFW 作为 VPC 的边界,除了可提供外部访问 VPC 内的安全访问控制,还可提供外部访问 VPC 内的接入服务。
    可提供的特性有: FW EIP SNAT IPsec VPN 等。
    vLB
    vLB 用于对外提供内部服务器间的负载均衡能力。
    一个 vLB 可以带多个监听器,用户可给不同业务申请不同的监听器。

    云数据中心网络安全部署方案

    云数据中心网络安全

    设备组件

    NGFW:提供安全隔离、非法访问防护和访问权限管理等;集成3G/LTE,可以提供主备双链路上行业务承载。

    Anti-DDoS:为威胁DCN的DDoS攻击提供检测及流量清洗服务。

    SVN:为从非安全区接入DC网络提供安全解决方案;远程分支接入与运维安全通道。

    FireHunter:华为沙箱,检测绕过NGFW、IPS和SMG的恶意软件、基于0-Day漏洞的威胁和定向型APT威胁等。

    WAF(Web Application Firewall):对静态页面防篡改、阻断SQL注入,XSS攻击。

    NIP:对入侵攻击、恶意威胁行为,提供检测及入侵防御能力。

    Agile Controller:园区Controller的接入控制组件

    UMA(Unified Maintenance and Audit):提供全统一的网络运维、管理及审计能力

    LogCenter:整网设备及业务系统信息进行采集、告警呈现

    CIS(Cybersecurity Intelligence System):终端异常检测、行为异常检测、流量异常检测、事件异常检测;自定义可疑行为检测;威胁可视化。

    华为HiSec@CloudFabric解决方案(该方案满足等保三级要求)

    方案总体架构分为三个层次:

    业务呈现/协同层:提供安全业务的展现功能,在云网场景下可由云平台直接协同下发安全业务;

    FusionSphere:由ManageOne提供统一Portal,租户通过ManageOne Portal订阅、动态打通VAS业务。

    第三方Openstack:租户通过第三方Portal或者第三方云平台订阅VAS业务,第三方OpenStack云平台调用Agile Controller-DCN接口动态开通VAS业务。

    控制/管理/分析层:承担安全分析以及安全、网络策略下发功能,向上对接云平台、向下纳管安全及网络设备;

    Agile Controller:完成网络建模、实例化,自动编排下发网络配置,负责引流至vas。

    SecoManager:通过和Agile Controller-DCN融合部署的方式,将界面集成到Agile Controller-DCN中来实现VAS服务的编排和策略管理。

    CIS:大数据安全分析系统,动态监测分析APT安全威胁, 实现整网安全态势可视,支持联动网络自动阻断安全威胁。

    网络/设备层:cloudfabric的基础架构层,为上层提供大数据安全分析的数据源,并接受上层的统一管理。

    由物理和虚拟网络设备组成的承载Overlay网络。

    安全设备获取数据流量,基于安全策略执行安全功能;提供硬件和软件两种形态,满足DC边界、租户边界和租户内安全防护需求。

     

    云安全服务

    租户流量隔离

    当创建一个VPC时,网络设备会相应地创建一个VPN实例用于租户流量隔离。而在防火墙上则表现为创建一个虚拟系统,同时虚拟系统也为VPC提供安全防护能力。

    安全组

    具有相同的安全策略的一组VM的集合,支持安全组间的访问控制策略和安全组内成员间的互访策略。

    安全组与vFW用于东西向流量防护。

    每个VM一组ACL,互不影响,VM迁移时安全策略自动刷新。

    提供VM粒度的隔离机制,解决VLAN资源不足、配置工作量大的问题。

    分布式策略控制,报文无需迂回到集中的策略控制点,避免形成性能瓶颈。

    可以和边界防火墙共同部署,构筑立体安全防护能力(南北向流量控制+东西向流量控制)。

    SNAT
    支持在云平台上编排 SNAT ,通过 AC-plugin 对接 Agile Controller-DCN 发放 SNAT 服务。
    EIP
    支持在云平台上编排 EIP ,通过 AC-plugin 对接 Agile Controller-DCN 发放 EIP 服务。
    IPsec VPN :
    支持在云平台上编排 IPsecVPN ,通过 AC-plugin 对接 AC 发放 IPsecVPN 服务,包含 IPsec policy IKE policy ipsec-site-connection 等对象。

    云数据中心网络安全配置案例

    VPC内不同子网互访配置举例

    同一VPC内所有虚拟机默认都处于default安全组,不同子网之间可以通信。

    1. 创建安全组

    “控制台 > 网络 > 安全组”,单击“创建”

    1. 将云主机加入安全组

    控制台 > 计算 > 云主机”界面,单击展开云主机详情,点击网卡后符号,在更多中选择加入安全组。

    1. 退出default安全组

    默认有default安全组有4条规则(IPv4和IPv6各两条):

    加入“default”安全组的云主机可以访问其他任何子网或安全组中的云主机。

    仅加入“default”安全组的云主机不允许其他任何子网或安全组的云主机进行访问。

     

     

    展开全文
  • 云数据中心网络技术

    千次阅读 2022-05-03 10:56:02
    博文主要介绍了以EVPN VXLAN体系构建云数据中心的关键技术。干货满满。

    前言

    在当前云计算高速发展的背景下,数据中心网络面临着诸多挑战。
    云计算具有资源池化,按需供给等特点,正是因为云计算的出现使得IT资源具备了可运营的条件。
    数据中心网络则是云计算生态中非常重要的一环,在云计算的模式下网络承担了基础底座的角色,信息的处理、存储、传递等功能均离不开网络承载。数据中心网络也不得不面临如下挑战:

    • 扩展性
      扩展性至关重要,尤其是在云数据中心。一个数据中心要能够容纳成千上万的租户和数千个租户网络。由于12-bit VLAN字段的限制最大只能支持4K网络,传统VLAN组网不足以支持大型多租户数据中心。
    • 弹性
      云场景下,数据中心网络必须能够适应租户不断变化的需求和要求。如何快速调整网络资源,以响应应用层的负载变化。
    • 高可用性
      数据中心网络必须能保证全年7x24小时的连续运转,并能够应对潜在的故障场景和灾难场景。
    • 开放性
      防止单一的品牌锁定,越来越多的大型数据中心网络都在朝着白盒方向演进,品牌厂商也在要求不断开放基于数据中心部署的标准。
    • 安全性
      特别是在云数据中心,多租户的网络隔离,公有云和私有云之间的安全策略,未授权设备的接入访问等。
    • 敏捷性
      应用层的部署请求完成所需的时间是考验数据中心网络敏捷性的重要标准。
    • 低成本
      数据中心的总体成本包括资本支出和运营支出。虽然资本支出部分随时间摊销,但运营支出部分是持续性支出,因此降低数据中心的运营成本至关重要。
    • 一体化解决方案
      不同于传统数据中心逐点部署的方式,现今云数据中心需要一套整体的解决方案,网络与计算、存储等资源紧密结合,联动SDN控制器完成复杂场景的自动化任务。

    数据中心Fabric演进

    STP

    在数据中心初期,大多数是以生成树协议(STP)为基础构建的网络。使用STP一定程度上解决了二层网络的环路问题,但是仍有一些问题是STP无能为力的,例如:链路利用、收敛速度、广播风暴、多路径(ECMP),双归属(dual- homing)以及网络规模的限制等等问题。

    M-LAG

    M-LAG是一种跨机框链路聚合技术,可将其理解为一种横向虚拟化技术,通过配置使一对交换机在逻辑上被视为一个整体,从而达到消除环路,提高冗余能力, 在一定程度上解决了STP的一些问题。不过这种技术无疑是增加了网络的复杂程度,有实际运维经验的网络工程师肯定深有体会。

    Clos

    CLOS 网络的核心思想是:用多个小规模、低成本的单元构建复杂,大规模的网络。简单的 CLOS 网络是一个三级互连架构,包含了输入级,中间级,输出级。它是由贝尔实验室的研究员Charles Clos提出。
    在这里插入图片描述
    Spine-Leaf的网络架构正是根据这个思想产生。将上图的网络对折,就有了我们现在数据中心网络的样子。
    在这里插入图片描述

    Spine-Leaf网路由Underlay和Overlay组成。简单来说,Underlay采用三层IP互联,Overlay是在三层IP互联的基础上建立二层互通。这使得整个数据中心网路就像由若干交换机组成的一台大交换机。Underlay网络就像是这个大交换机的交换背板,而Overlay网络则是基于每个租户的相互隔离的虚拟网络。
    这样的网络架构根本上避免了二层环路产生和设备单点故障,也提供了链路的冗余能力,网络的灵活性、扩展性也大大提升。
    那么下面让我们逐步了解一下以Spine-Leaf为架构的数据中心网络。

    VXLAN介绍

    首先必须提到VXLAN,VXLAN是由IETF定义的NVO3(Network Virtualization over Layer 3)标准技术之一,采用MAC-in-UDP的报文封装模式。原始报文在VXLAN接入点加上VXLAN帧头后再被封装在UDP报头中,并使用Underlay网络的IP/MAC地址作为外层头进行封装,Underlay网络只需要按照普通的二三层转发流程进行转发即可。

    报文格式如下
    在这里插入图片描述

    相关概念

    VXLAN网络架构模型
    在这里插入图片描述

    • VTEP(VXLAN Tunnel Endpoints,VXLAN隧道端点)
      VXLAN网络的边缘设备,是VXLAN隧道的起点和终点,进行VXLAN报文的封装、解封装等处理。VTEP既可以部署在网络设备上(TOR交换机),也可以部署在vSwitch上(服务器上的虚拟交换机)。
    • VNI(VXLAN Network Identifier,VXLAN 网络标识符)
      VNI是一种类似于VLAN ID的网络标识,用来标识VXLAN二层网络。一个VNI代表一个VXLAN段,不同VXLAN段的虚拟机不能直接二层相互通信。VNI有24比特,可以支持多达16M的VXLAN段。
    • L3VNI
      在分布式网关之间通过VXLAN隧道转发流量时,属于同一租户(VRF)的流量通过L3VNI来标识。L3VNI唯一关联一个VPN实例,通过VPN实例确保不同租户之间的业务隔离。
    • VXLAN隧道
      两个VTEP之间建立的逻辑隧道,用于传输VXLAN报文。业务报文在进入VXLAN隧道式进行VXLAN、UDP、IP头封装,然后通过三层转发透明地将报文转发给远端VTEP,远端VTEP对报文进行解封装处理。

    VXLAN封装转发流程

    • 同子网单播封装转发流程

    在这里插入图片描述

    1. 在进行ARP报文的交互后(ARP Request转发流程后面再讨论),VM 1上已经存在VM 3的ARP表项,VM 3上也有VM 1的ARP表项。
    2. Leaf A收到VM 1发来的单播报文,发现其目的MAC为MAC 3,在VXLAN 10中查找到后,进行VXLAN封装后通过Tunnel 1发送出去。
    3. Leaf B收到Leaf A发来的报文,解封装后在VXLAN 10中找到MAC 3表项,将其在对应的本地端口和VLAN中发出去。
    4. VM 3收到报文后,往VM 1发送单播报文的流程相同。
    • 跨子网单播封装转发流程
      以集中式网关为例,网关设在Spine C上,VM1和VM4是不同子网。
      在这里插入图片描述
    1. VM 1先将报文发送给网关。报文的源MAC是VM 1的MAC,目的MAC是网关VRF10的MAC,源IP是VM 1的IP,目的IP是VM 4的IP。
    2. Leaf A收到VM 1发来的报文,识别此报文属于VXLAN 10,查找目的MAC G10的表项,就报文进行VXLAN封装后从Tunnel 2发送出去。其中,VXLAN头中的VNI为10;外层源IP地址为Leaf A的IP,外层目的IP地址为Spine C的IP;外层源MAC地址为Leaf A的MAC,而外层目的MAC地址为去往目的IP的网络中下一跳设备的MAC地址。封装后的报文,根据外层MAC和IP信息,在IP网络中进行传输,直至到达对端VTEP。
    3. Spine C收到Leaf A发来的报文,发现外层目的IP是自己,于是对报文进行解封装。解完封装后,Spine C发现原始二层报文的目的MAC为本机VRF10的MAC,目的IP是IP4,于是根据路由表查找IP 4的下一跳。发现一下跳为Leaf B,出接口为VRF20。再查询ARP表项,并将原始二层报文的源MAC修改为VRF20的MAC,将目的MAC修改为VM 4的MAC。报文到达VRF20接口时,识别到需要进入VXLAN 20隧道,所以根据MAC表对报文进行封装。这里封装的VXLAN头中的VNI为20,外层源IP地址为Spine C的IP地址,外层目的IP地址为Leaf B的IP地址;外层源MAC地址为Spine C的MAC地址,而外层目的MAC地址为去往目的IP的网络中下一跳设备的MAC地址。封装后的报文,根据外层MAC和IP信息,在IP网络中进行传输,直至到达对端VTEP。
    4. Leaf B收到Spine C发来的报文后,解封装,得到原始二层报文。在VXLAN 20内找到目的MAC为MAC 4的表项,并将报文从对应的接口和VLAN中发送出去。最终VM 4收到了来自VM 1的报文。
    5. VM 4发送给VM 1的过程与此类似。

    EVPN介绍

    上面提到的VXLAN是定义了数据包是如何在网络中封装,转发,解封装的,属于数据的转发层面。
    这部分我们重点介绍EVPN,EVPN属于控制层面,定义了VTEP如何自动发现,MAC地址、IP地址这些指导转发的信息是如何在网络中学习和传递的。

    相关概念:

    在这里插入图片描述

    • ES(Ethernet Segment)CE接入到PE的以太链路集合就是一个ES
    • ESI(Ethernet Segment Identifier)PE与某一CE的连接定义的唯一标识。
    • EVI(EVPN Instance) 表示EVPN实例,EVPN是虚拟化私网,在一台PE设备上存在多个EVPN实例。类似于VPLS的VSI,用来标识一个VPN客户。

    EVPN路由

    • TYPE1 Ethernet Auto-discovery Route
      分两种:
      Ethernet Auto-Discovery Per ES路由主要用于ESI多活场景中的快速收敛和水平分割,
      Ethernet Auto-Discovery Per EVI路由主要用于ESI多活场景中的别名
      在这里插入图片描述
      Ethernet Auto-Discovery Per ES路由
      Route Distinguisher:由源VTEP IP地址与0组合而成,例如1.1.1.1:0。
      Ethernet Segment Identifier:PE与CE连接的唯一标识。在VM多归场景中,PEs通过这一字段获知哪些PE连接了同一个CE。
      Ethernet Tag ID:该字段为全F。
      MPLS Label:该字段为全0。
      Ethernet Auto-Discovery Per EVI路由
      Route Distinguisher:EVPN实例下设置的RD(Route Distinguisher)值。
      Ethernet Segment Identifier:同上。
      Ethernet Tag ID:该字段用于标识一个ES下的不同的子广播域,全0标识该EVI只有一个广播域
      MPLS Label:该字段为绑定EVPN实例的BD所关联的VNI。

    • TYPE2 MAC/IP Advertisement Route
      用于通告主机MAC地址、主机ARP和主机路由信息。

    在这里插入图片描述

    Route Distinguisher:为EVPN实例下设置的RD(Route Distinguisher)值。
    Ethernet Segment Identifier:为当前PE与CE连接定义的唯一标识。
    Ethernet Tag ID:为当前设备上实际配置的VLAN ID或VNI ID。
    MAC Address Length:为此路由携带的主机MAC地址的长度。
    MAC Address:为此路由携带的主机MAC地址。
    IP Address Length:为此路由携带的主机IP地址的掩码长度。
    IP Address:为此路由携带的主机IP地址。
    MPLS Label1:为此路由携带的二层VNI。
    MPLS Label2:为此路由携带的三层VNI。

    • TYPE3 Inclusive Multicast Ethernet Tag Route
      用于VTEP自动发现和VXLAN隧道建立。
      在这里插入图片描述
      Type3携带的PMSI Tunnel 属性
      在这里插入图片描述
      Route Distinguisher:同上。
      Ethernet Tag ID:在此路由中为全0。
      IP Address Length:该字段为此路由携带的本端VTEP IP地址的掩码长度。
      Originating Router’s IP Address:该字段为此路由携带的本端VTEP IP地址。
      Flags:标识当前隧道是否需要Leaf节点信息。在VXLAN场景中,该字段没有实际意义。
      Tunnel Type:目前,在VXLAN场景中,支持的类型只有“6:Ingress Replication”,即头端复制,用于BUM报文转发。
      MPLS Label:该字段为此路由携带的二层VNI。
      Tunnel Identifier:目前,在VXLAN场景中,该字段也是本端VTEP IP地址。

    • TYPE4 Inclusive Multicast Ethernet Tag Route
      用于通告ES及其连接的VTEP信息,以便发现连接同一ES的VTEP冗余组其他成员,以及在冗余组之间选举指定转发器DF等。
      在这里插入图片描述
      Route Distinguisher:同上。
      Ethernet Segment Identifier (ESI):同上。
      IP Address Length:在VXLAN场景中为VTEP地址的长度。
      Originating Router’s IP Address:在VXLAN场景中为VTEP地址。

    • TYPE5 IP Prefix Route
      用于通告引入的外部路由信息。
      在这里插入图片描述

    Route Distinguisher:该字段为VPN实例下设置的RD(Route Distinguisher)值。
    Ethernet Segment Identifier:同上。
    Ethernet Tag ID:该字段取值为全0。
    IP Prefix Length:该字段为此路由携带的IP前缀掩码长度。
    IP Prefix:该字段为此路由携带的IP前缀。
    GW IP Address:该字段为默认网关地址。
    MPLS Label:该字段为此路由携带的三层VNI。

    补充

    EVPN路由的使用,可以参考我以前的博文:
    TYPE1 per ESI
    TYPE1 per EVI
    TYPE2
    TYPE3
    TYPE4

    Underlay网络

    由于VXLAN是MAC-in-IP/UDP,IP承载网络需要以最佳方式承载来自VXLAN隧道端点(VTEP)的IP流量。
    以下几点我们在部署Underlay网络时需要重点考虑:

    Underlay网络架构模型

    经典的部署方案,IP Fabric是由Spine-Leaf两层组成,根据网络规模的大小我们可以横向扩展Spine和Leaf交换机的数量。这样的网络结构任意两台终端互相通信最多经过3个节点,因此我们称之为3-stage IP fabric。
    在这里插入图片描述
    随着网络规模的扩大,我们可以将一组Spine-Leaf看做一组Pod,在原有的Spine层上增加一层Fabric(Spuer-Spine),用来提供Pod间互通。这样两台终端间互通最多需要经过5个节点,称之为five-stage IP fabric。
    在这里插入图片描述

    Underlay路由部署

    我们说Spine-Leaf采用了三层IP互联,那么路由协议将如何选择?
    目前三种主流的开放标准协议:OSPF、ISIS和BGP,本质上都是可以完成通告路由前缀的功能,但是每种协议的组网规模和实现功能上有所不同。
    OSPF和ISIS都是使用洪泛技术来发送更新报文和其它路由信息,创建区域可以限制洪泛的范围。
    BGP通过按组创建,支持大量前缀和对等体,BGP也从多方面保证了网络的灵活性、稳定性、可靠性以及高效性等。所以目前大多数大型数据中心都是采用部署BGP的方式。另外由于BGP的选路方式,在Underlay网络支持ECMP需要额外在交换机上开启”multipath“特性。

    • IBGP
      我们需要在IBGP对等体之间建立全连接(Full-mesh)关系来保证IBGP对等体之间的连通
      性,可以通过RR方式部署。
      在这里插入图片描述

    • EBGP
      在EBGP中,Spine和Leaf中的每个交换机都有自己的AS。
      下一跳属性是必须要考虑的,因为在Spine-Leaf的拓扑结构中,VTEP通常是在Leaf交换机,Leaf交换机通告本地主机信息是通过Spine交换机传递到远端Leaf交换机,所以不能改变下一跳属性从而允许VXLAN隧道能在Leaf交换机之间建立。

    在这里插入图片描述
    以上只是简单举例,实际环境中AS的划分可能还有很多不同的方式。

    MTU规划

    回想一下前面的提到的VXLAN,每个原始数据包/帧的顶部添加额外的头。Underlay的底层承载网络需要考虑头部封装产生的额外字节。
    一般以太网网卡(NIC)的计算机标准最大传输单元(MTU)是1500字节。以太网帧的总大小是1518(或1522,附加802.1Q标记)。
    在VXLAN环境中,由于额外VXLAN封装会有50字节或54字节的额外开销。在Underlay转发时,VXLAN如果报文被分片,根据RFC7348 接收端VTEP上会丢弃分片的报文。
    这些额外开销包括:14字节外层MAC+20字节外层IP+8字节UDP+8字节VXLAN头部
    在这里插入图片描述
    如果将原始以太网帧中的802.1Q标记映射到VNI中,并在VXLAN封装前剥离,那么开销会到54字节。

    在这里插入图片描述
    解决方案:

    1. 修改终端服务器发送报文的最大长度值,确保最大的长度值加上50字节(54字节)小于全网网络设备的MTU值。
    2. 统一修改全网网络设备MTU,确保MTU值大于收到的VXLAN报文长度,从而保证VXLAN报文不被分片传输。
      为了提高传输效率,服务器端MTU可能会增加,Jumbo帧可达9000字节。所有通常在部署网络设备时会把MTU设置到最大值(9216),并保持全网统一。

    BUM流量转发

    我们把Broadcast, Unknown unicast和 Multicast 这些多目的的流量统称为BUM。Underlay网络必须具体承载BUM流量的能力。
    目前主要有两种处理BUM流量的方式:

    • 头端复制
      VTEP负责复制报文,采用单播方式将复制后的报文通过本地接口发送给本地站点,并通过VXLAN隧道发送给属于同一VNI的所有远端VTEP。为避免环路,远端VTEP从VXLAN隧道上接收到报文后,不会再将其泛洪到其他的VXLAN隧道。
      从Underlay角度来看,这个包被视为单播转发。
      网络工程师可以通过手动配置静态的VTEP列表,也可以通过BGP EVPN动态发布。如果在一个特定VNI中有N个VTEP成员,那么每个VTEP需要生成N-1个副本,由此可见通过BGP EVPN动态更新VTEP列表更合适。

    在这里插入图片描述

    1. VM 1与VM3的IP地址在同一网段。VM 1想要与VM 3进行通信,但发现没有VM 3的MAC地址,于是发起VM 3的ARP请求报文。ARP请求报文的源IP是VM 1的IP,目的IP是VM 3的IP,源MAC是VM 1的MAC,目的MAC则是全0字段,表示希望获得VM 3的MAC信息。外层封装以太网头,其中目的MAC为全F,表示这是一个广播报文。
    2. Leaf A收到了VM 1发来的ARP请求报文,根据其入端口和VLAN信息,判断出这个报文应该匹配VXLAN 10。将VXLAN、MAC、入端口和VLAN信息写入相应的EVI MAC表中。
    3. Leaf A发现ARP请求报文是一个广播报文,于是将这个报文在本地和远端所有VXLAN 10的端口进行广播。由于本流程广播采用头端复制的方法,Leaf A将给Leaf B和Spine C各发送一份VXLAN报文。Leaf A发送给Leaf B的报文,最外层是以太网头,接着是IP头,其中源IP是Leaf A的IP,目的IP是Leaf B的IP。再往内是UDP头和VXLAN头,其中VNI为10。最内层是VM 1的ARP请求报文。Leaf A发给Spine C的报文封装相同,不同之处在于外层目的IP是Spine C的IP,外层目的MAC根据下一跳不同而不同。
    4. Spine C收到Leaf A发来的报文,发现外层目的IP是自己,于是将其解封装。发现UDP的目的端口是4789,于是将UDP的上层报文进行VXLAN解封装处理。根据VXLAN报文的信息,将VXLAN、内部MAC、入端口等信息写入相应的EVI MAC表中。再发现内部原始二层报文是一个广播报文,根据水平分割的要求,不再往其他VTEP设备转发,只在本地的VXLAN 10端口内进行广播。由于Spine C上没有连接服务器,所以Spine C对这个报文不再进行后续处理,予以丢弃。
    5. 同样的,Leaf B也收到Leaf A发来的报文,解封装后,将VXLAN、内部MAC、入端口等信息写入相应的EVI MAC表中。由于报文是从Tunnel 1中收到的,所以端口信息为Tunnel 1。根据VXLAN 10的映射关系表,将原始二层报文在本地所有VXLAN 10端口进行广播.
    6. 最终VM 3收到了VM 1的ARP请求报文,将VM 1的IP和MAC对应关系写入自己的ARP表项,准备进行ARP应答。
    • 组播
      同一个VXLAN内的所有VTEP都加入同一个组播组,利用组播路由协议(如PIM)在IP网络上为该组播建立组播转发表项,VTEP上相应生成一个组播隧道。组播方式需要在网络中Spine和Leaf交换机都具有组播能力,而且有增加了部署组播的成本。

    Overlay网络

    Overlay网络是在Underlay的基础上叠加的逻辑网络,实现了网络资源虚拟化。
    在云数据中心网络中,对于租户来讲Underlay是完全透明的。每个租户都能拥有一张完全独立的Overlay网络。
    在这里插入图片描述

    Overlay网络具有独立的数据转发平面和控制平面。
    对应前面提到的概念,VXLAN是作为数据转发平面;EVPN则是完成控制平面的工作。

    Overlay网络架构模型

    VTEP作为封装和解封装VXLAN的端点既可以部署在网络设备上(TOR交换机),也可以部署在vSwitch上(服务器上的虚拟交换机)。
    下面以VTEP部署在TOR交换机上为例,我们看一下EVPN VXLAN体系Overlay的网络架构。

    集中式网关

    集中式网关是将网关设置在Spine上或者单独部署Border-Leaf作为网关。以下图为例,网关设置在Spine上,在每个Spine交换机上都设置VLAN的三层接口,VLAN间通信的流量需要首先流经Spine交换机,通过Spine的路由功能完成跨子网通信。
    这时就会有一个问题:即使是在同一Leaf下的两台不同VLAN的终端通信,也是需要绕行Spine形成“发卡弯”。
    在这里插入图片描述

    分布式网关

    分布式网关是将网关部署在每台Leaf交换机(VTEP)上,使得网关的位置更靠近用户侧,也避免了集中式网关出现“发卡弯”的情况。当然这样的网络架构对Leaf(VTEP)交换机的功能和性能都有更多的要求。

    在这里插入图片描述
    在EVPN VXLAN网络中,VTEP既可以做二层Bridge,也可以做三层Router,因此称为集成桥接和路由,即IRB(Integrated Routing and Bridging)。IRB转发可以分为对称IRB和非对称IRB两种。

    • 非对称IRB
      在Ingress入口网关,需要做Layer-2 bridging和Layer-3 routing功能,而在Egress出口网关,只需要做Layer-2 bridging功能。因此是不对称的。如下图所示,在Leaf1先根据虚机所在的VNI A做三层转发,查找路由,出口为VNI B。直接将VM2目的虚机的MAC封装为内层MAC。远端Leaf2解封装后由于目的MAC不是本机MAC,查找MAC表做二层转发。此种模式下,要求每一台分布式网关需要配置EVPN网络内所有VNI的EVI信息,且要求每一台分布式网关维护本租户内所有主机的ARP。
      在这里插入图片描述

    • 对称IRB
      在Ingress入口网关和Egress出口网关,都只做Layer-3 routing功能(同网段则只做briding功能)。因此是对称的。如下图所示,在Leaf1上查找路由,此路由的下一跳指向Leaf2,下一跳对应的MAC为Leaf2的RouteMAC,报文转发时,内层MAC为RouteMAC,VNI为L3VNI。报文到Leaf2后,根据L3VNI获取租户VRF信息,报文在VRF里再次查找路由,通过查找本地ARP表项,将报文往虚机。此种模式下,每一台分布式网关只需要配置其下主机所在VNI的EVI信息和所在VRF的L3 VNI信息,且不需要维护本租户内的所有主机的ARP,只需要维护少量的其他分布式网关对应的MAC即可。
      在这里插入图片描述

    纯二层方式

    纯二层方式下部署的Overlay网络只能提供同子网内的二层转发,无法提供路由功能。
    如果我们需要VLAN间通信,可以参照单臂路由的方式在Fabric以外部署一台网关路由器。
    在这里插入图片描述
    网络架构本身并无好坏之分,主要还是看是否符合自己的业务场景。
    大体上来看:
    集中式网关对于多租户的VRF管理更简单,跨子网的流量统计更容易实现,南北向流量为主的网络中更合适。
    分布式网关在大型的东西向流量为主的数据中心网络应用更多,不过在Leaf交换机上的配置更为繁琐最好有控制器配合使用。
    还有一些环境中对网关的转发能力,表项规格等都要求较高,或者其它原因需要将二三层功能分离,这时可以将Overlay部署成纯二层方式,在Fabric外单独部署网关路由器。

    VXLAN EVPN增强特性

    ARP广播抑制

    在终端租户初次互通过程中,终端租户会发送ARP广播请求报文,而ARP请求报文会在二层网络内(一个VNI内)广播。为了抑制ARP广播请求报文给网络带来的广播风暴,可在VXLAN二层网关设备上使能广播抑制功能。
    具体实现:

    1. EVPN VXLAN的网络中,Leaf交换机(VTEP)会保存一份MAC-to-IP的映射表,终端相关的MAC、IP、VNI、RD、RT、本端VTEP地址将通过BGP EVPN发布到其它远端VTEPs。
    2. 当Leaf交换机从本地端口收到ARP请求,首先查询MAC-to-IP映射表,
      如果有主机信息,本地Leaf交换机将ARP请求报文中的广播目的MAC地址和Target MAC地址替换为目的主机的MAC地址,并进行VXLAN封装后转发。
      如果没有目的主机信息,ARP请求报文中的广播目的MAC地址不变,本地Leaf交换机进行VXLAN封装后转发。
      有一点注意的是: ARP广播抑制suppression,是利用EVPN传递的已知主机信息将ARP广播转为单播,这点不同于代理ARP。

    ARP代答

    在EVPN VXLAN网络中,当Leaf交换机收到一个ARP请求报文时,会将该报文在域内广播。如果Leaf交换机在某一时间段内收到大量的ARP请求报文,并将这些报文都进行广播,VXLAN网络中就会出现大量的ARP请求报文,占用过多的网络资源,造成网络拥塞,导致网络性能下降,影响用户业务的正常运行。为了解决上述问题,可以在Leaf交换机部署基于BD的ARP二层代答。
    具体实现:
    开启基于BD的ARP二层代答之后,当Leaf交换机本地端口收到ARP报文之后,设备会侦听报文中携带的ARP源信息,并将其中的源IP地址、源MAC地址、报文的入接口等信息记录到本地的ARP Snooping表项中,作为后续ARP二层代答的依据。同时,各个Leaf(VTEP)之间会通过BGP EVPN路由Type2 互相同步各自侦听到的用户ARP信息,然后补充到本地的ARP Snooping表项中,这类信息记录了源IP地址、源MAC地址、报文的源VTEP IP地址。
    当Leaf交换机本地端口再收到ARP请求报文时,设备首先根据报文中的目的IP查找本地的ARP Snooping表项:
    如果查找成功,则用查找到的信息对ARP请求报文直接进行代答。
    如果查找失败,则按原有的流程处理该ARP请求报文。

    MAC Mobility

    在云场景中,虚机迁移是一种常见的情况。为了防止多次快速迁移出现网络中路由互相冲突的情况。EVPN Type2路由引入了序列编号。
    如图,
    在这里插入图片描述

    Host H从L1迁移到L2再到L4。
    L1通告H的Type2路由序号是0;然后H迁移到L2,L2通告新的H的Type2路由序号是1;然后H迅速迁移到L4,L4通告新的H Type2路由序号2。
    当L2收到序号2的路由就会意识到H已经迁移,发出withdraw消息撤销自己发出的序号1的路由;
    由于一些原因,这时L1可能几乎同时收到L4的序号2路由和L2的withdraw撤销序号1的路由。
    最后L1因为有序号2的路由,即使延时收到了序号1的路由也会丢弃。

    ESI多活技术

    在EVPN VXLAN场景中,为了避免接入侧单点故障,我们可以采用ESI方式很好解决。
    在这里插入图片描述

    ESI场景中主要包括以下:

    • DF选举
      EVPN的DF选举机制,即从LS2和LS3中指定一个来转发BUM流量。如果LS2被选举为主DF,则从H1方向发来的BUM流量将只从LS2向H2转发,而未被选中的LS3则成为备份DF。具体选举过程可以参考:

    • 路由负载与别名
      H2双归至LS2和LS3,且LS2和LS3处于多活模式。此时,LS2和LS3通过以太自动发现路由(Per ES)将多活模式信息发送给LS1,之后LS1在向H2发送单播流量时,会同时向LS2和LS3发送,从而形成负载分担。
      EVPN还支持别名功能。在接入侧多归多活场景中,多归的Leaf中有些Leaf可能学习不到VM侧的MAC地址,此时远端Leaf可以通过多归Leaf发来的以太自动发现路由(Per EVI)携带的ESI值来感知到VM侧的MAC地址可达性,这个功能被称为别名。

    • 快速收敛
      在传统 flood-and-learn 模式下,收敛速度受限于路由条目。例如H2是一台Hypervisor,上面管理了100台虚机,LS3到H2的链路故障时,LS3需要撤销通告H1-100的Type2路由,这段撤销的时间就会形成路由黑洞。EVPN的解决方法,LS3首先先撤销Type1 ESI路由,LS1得到ESI的撤销通告后会清除下一跳到LS3的MAC路由。

    跨数据中心通信

    随着业务不断发展,我们会面临多地域部署数据中心的情况。数据中心互联DCI(Data Center Interconnection)是不同数据中心之间互相通信的一种解决方案,在数据中心之间既要实现同VLAN内终端之间的互相通信,也要实现不同VLAN的终端间互相通信。

    端到端VXLAN

    数据中心A的Leaf1和数据中心B的Leaf4之间运行BGP EVPN协议传递MAC路由或者主机路由信息,在传递时不改变MAC路由或者主机路由的下一跳地址,从而在跨数据中心的Leaf1和Leaf4上的VTEP之间建立端到端VXLAN隧道。

    在这里插入图片描述

    VLAN hand-off

    分别在数据中心A、数据中心B内配置BGP EVPN协议创建VXLAN隧道,实现各数据中心内部VM之间的通信,Leaf2和Leaf3通过二层子接口方式接入DCI-VTEP1和DCI-VTEP2,DCI-VTEP1和DCI-VTEP2之间配置EVPN协议创建VXLAN隧道,实现数据中心之间的通信。Leaf2/Leaf3将收到的数据中心侧的VXLAN报文进行解封装,然后发送到DCI-VTEP,DCI-VTEP将收到的VLAN报文重新封装成VXLAN报文后发送给对端DCI-VTEP,实现VXLAN隧道对跨数据中心的报文端到端的承载,保证跨数据中心VM之间的通信。

    在这里插入图片描述

    Segment VXLAN

    通过Segment VXLAN实现数据中心互联是指在两个数据中心内部各建立一段VXLAN隧道,数据中心之间再建立一段VXLAN隧道。分别在数据中心A、数据中心B内配置BGP EVPN协议创建分布式网关VXLAN隧道,实现各数据中心内部VM之间的通信。Leaf2和Leaf3是数据中心内连接骨干网的边缘设备,通过在Leaf2和Leaf3上配置BGP EVPN协议创建VXLAN隧道,将从一侧数据中心收到的VXLAN报文先解封装、然后再重新封装后发送到另一侧数据中心,实现对跨数据中心的报文端到端的VXLAN报文承载,保证跨数据中心VM之间的通信。
    这种方案的限制:数据中心内部只能部署分布式网关
    在这里插入图片描述

    外部路由

    在Spine-Leaf网络架构的数据中心,我们通常把连接外部网络的Leaf称作Border Leaf。Border Leaf负责二层和三层形式的外部互联,本章内容我们主要讨论几个通过Border Leaf提供对外的三层互联的场景。

    VRF Lite

    VRF Lite是最简单易行的方案,在Border Leaf上设置所有的VRF实例,前缀信息从EVPN网络中注入特定的VRF路由表。路由信息通过路由协议在Border Leaf上与外部路由器交换。
    不过这个方案的扩展性有限,每一个VRF都需要一个对等会话。
    在这里插入图片描述

    MPLS Layer 3 VPN

    VXLAN EVPN和MPLS L3VPN可以在EVPN地址族和VPNv4地址族之间交换第3层可达性信息。VXLAN EVPN的Border Leaf同时也充当MPLS L3VPN的PE,从而我们将其定义为BorderPE。BorderPE收到来自Leaf的路由信息通过reoriginate方法注入到L3VPN地址族(VPNv4),反方向类似操作。
    这种方式将两种封装和地址族结合在一起,称之为”single-box“解决方案。
    在这里插入图片描述

    共享VRF

    在许多情况下数据中心网络中会为多租户提供公共类的资源或工具,这就需要我们能引入共享VRF的概念。这样的方式也适用于为多租户提供外部服务。
    VRF 通过route leaking可以实现交换机上多VRF之间泄露路由前缀,同时当流量定向到一个特定前缀时,必须能做出封装。
    例如下图:
    从192.168.1.101去往192.168.2.102,首先在进入VTEP V1时,VRF-A中可以看到192.168.2.102,因为做了路由泄露,转发角度看,去往192.168.2.102的数据包在VTEP V1上封装VNI50001朝向VTEP V2,数据包到达VTEP V2时,会在VRF-A中查找到192.168.2.102然后本地泄露到VRF-B。
    在这里插入图片描述
    除此之外,Downstream VNI也是一种可选VNI分配方案,它使用控制平面协议驱动在数据平面封装使用的VNI。BGP EVPN路由更新时VNI信息是EVPN NLRI的一部分,出现在Type2和Type5路由中。
    例如下图:
    从192.168.1.101去往192.168.2.102,数据包在VTEP V1会封装VNI50002。
    在这里插入图片描述
    这里用于封装的VNI由目标VTEP和目标端点决定的,因此称为Downstream VNI。
    如果每个VTEP开始对每个VRF使用不同的VNI,那么所需的每VTEP、每VNI信息的数量可能会激增。这会对硬件表规模有额外需求。因此,建议在通用互联网VRF或共享服务VRF合理规划。

    参考

    Building Data Centers with VXLAN BGP EVPN(CISCO)
    evpn-implementation-for-next-generation-data-centers(Juniper)
    华为CloudEngine 产品文档(Huawei)
    新IT老爬虫-SDN专题(H3C)

    后记

    文章中主要以VTEP设置在Leaf交换机(TOR)展开讨论,但是随着智能网卡的发展,让VXLAN封装和解封装的工作能可以卸载到网卡上进行,这也使得越来越多的数据中心网络开始选择把VTEP放在服务器的侧。这种做法在公有云大厂已是非常成熟的部署方案了,它更进一步解耦了Underlay和Overlay网络,并且更便于集中控制器统一管控,更符合云计算特点和需求。
    在这样的趋势下,对于网络工程师无疑也是不小的挑战。“Software is eating the network”的口号令传统网络工程师不寒而栗,像以前只会操作几家厂商的网络设备就能的谋求一个饭碗的时代真的一去不复返了!

    五一期间由于突然严重的疫情形势只能窝在家中,本来打算的出游计划也就此泡汤。不过窝在家中也有窝在家中的好,难得从日常重复琐碎的工作中抽身出来对以往的知识做一下归纳总结。
    以上博文根据本人从事网络工作这些年的工作经验以及相关知识加以梳理总结而成,如有疏漏或不足之处还请留言加以指正!

    展开全文
  • 7.1 多数据中心的业务诉求场景 7.1.1 多数据中心的业务场景分析 7.1.2 多数据中心的网络需求分析 7.1.3 Multi-DC Fabric方案整体架构和场景分类示例 7.2 Multi-Site场景和设计 7.2.1 Multi-Site方案的应用场景 7.2.2...
  • 分布式云数据中心

    千次阅读 2019-10-25 06:48:48
    传统的大型企业数据中心是一个物理分层的架构,采用烟囱式构建基础架构的方式,存在建设与运营成本高、资源利用率低、服务SLA保证困难、管理复杂等诸多挑战 数据中心发展趋势 随着云服务业务的发展,运营商和企业...
  • 8.1 云数据中心面临的安全挑战 因为云化和SDN化的网络特点(网元出现的位置随意性更大,出现和消失的时间不定): 首先会导致安全业务开通周期长; 其次SDN的自动化能力是现在安全业务所不能达到的,很多安全业务...
  • 华为云数据中心建设全面复工进行中,预计2021年投入使用(华为云贵州) 推荐2020-04-13 http://3g.donews.com/News/donews_detail/3089566.html 位于贵州省贵安新区华为云数据中心A区项目施工现场,1000余名工人...
  • 云数据中心基础

    万次阅读 2018-05-17 13:19:54
    数据中心概述: DC (Data Center) 企业IT系统的核心 海量数据运算、交换、存储的中心 关键信息业务应用的计算环境 集中管控各种数据、应用程序、物理或虚拟化设备的环境 数据中心四大焦点:可靠、灵活、绿色、...
  • 003云数据中心基础原理笔记

    千次阅读 2017-04-05 22:22:15
    云数据中心
  • 本文将为读者分享华为Stack是如何高效的把全栈平台大批量低成本复制到客户的数据中心,为客户修建数字化转型的高速公路。
  • SDN在云数据中心的架构

    万次阅读 2017-05-19 00:35:05
    前言 SDN概念一直如火如荼,若是要谈到概念落地及大规模应用,一定离不开SDN在云计算数据中心的实践应用...本文站在云数据中心网络维护工程师的角度,给大家分享SDN与云数据中心结合的前世今生。 一、云数据中心
  • 基于华为产品的高校云数据中心建设规划设计方案

    万次阅读 多人点赞 2017-05-18 22:38:11
    数据中心统一运维管理云数据中心运维管理采用开放的管理架构和模块化的设计思路,根据云数据中心管理需求配置运维管理模块。主要管理模块包括服务管理、统一管理门户、服务流程管理、综合监控管理以及云计算平台...
  • 架构对运维系统的新需求和新挑战 引入云计算和业务需求带来运维压力 随着越来越多的企业拥抱云计算,为了支持业务系统的快速上线、灵活伸缩以及更高的SLA要求,再加上有限的IT运维成本,运维人
  • 对外体现为一个大VPC整体 几个重要特点: 每个数据中心都部署独立VXLAN域,分别由一套SDN控制器单独管理 数据中心之间通过三段式VXLAN进行互通,也可以通过Underlay方式互通 隔离了两个数据中心的故障域 方便客户...
  • 2,云管理层

    千次阅读 2012-11-28 09:37:39
    虽然和前面云服务的3 层相比,熟悉云管理层的人非常少,但是它确实是云最核心的部分,   1. 用户层顾名思义,这层主要面向使用云的用户,并通过多种功能来更好地为用户服务,共包括4个模块:用户管理、客户支持、...
  • “全新启航的联想企业科技集团,将在智能基础架构领域...值得注意的是,在大会现场,联想数据中心中国区业务宣布了全新的组织变更,并更名为“联想企业科技集团”。此次全新的战略布局规划,向我们传达出全新启航的...
  • 云管理层也是三层云服务的基础,并且为这三层提供多种管理和维护等方面的功能和技术。  云管理层一般分为九个模块,这九个模块又可以分为三层,它们分别是用户层、机制层和检测层。    用户层主要包括四个部分...
  •  华为FusionCloud解决方案是物理分散、逻辑统一、业务驱动、管协同、业务感知的数据中心解决方案,可支持企业或机构业务的持续发展,能满足对业务全生命周期的管理。FusionCloud的核心理念在于物理分散和逻辑统一...
  • 什么是云计算数据中心? 现在可能会有很多人对云计算、数据...云数据中心的特点首先是高度的虚拟化,这其中包括服务器、存储、网络、应用等虚拟化,使用户可以按需调用各种资源;其次是自动化管理程度,包括对物理...
  • 云计算时代,数据中心架构三到大二的演变 author:pasca time:2018/1/16 文章目录一、数据中心是什么二、传统数据中心网络架构三、云计算的发展对数据中心的影响四、数据中心流量丰富化带来的挑战五、总结 一、...
  • 私有是部署在客户数据中心的云计算平台,网络基础设施主要集中在客 户的数据中心机房内。为了保证私有的高可用,需要在两个机房建造对等的 数据中心,并将两个数据中心通过内网互联的方式连接起来。 在数据中心...
  • 传统数据中心网络架构基本情况

    千次阅读 2022-03-26 14:12:53
    在分析云数据中心网络架构之前,还是要先充分了解一下传统数据中心。否则,脱离实际去谈,可能会存在捡了芝麻丢了西瓜的情况。因此,结合自己对于运营商数据中心的学习理解,先对传统模式下数据中心网络架构究竟是...
  • 原生景观:编排和管理层解决了什么问题?如何解决的? 原生景观:应用程序定义和开发层解决了什么问题?如何解决的? 原生景观:可观察性和分析解决了什么问题?如何解决的 目录 编排和调度( Orchestration &...
  • 数据中心能耗结构、PUE、WUE

    千次阅读 2021-12-31 00:00:22
    数据中心能耗结构 数据中心一般由所在地电网或专用的发电设施提供电力供应,经过变、配电等环节处理后,为数据中心的用电设备提供电源。目前,数据中心耗电量占全球耗电总量的1%。2011年,美国...
  • 本文将以华泰证券信创云管理平台建设为例,探讨信创云管理平台在证券行业建设的最佳实践。
  • 浅谈原生数据库:回顾过去,未来可期

    万次阅读 多人点赞 2022-07-05 19:05:50
    原生数据库
  • xx大学云数据中心建设方案

    万次阅读 多人点赞 2017-05-20 06:25:26
    xxxxx大学云数据中心建设方案                                 2015/11     目录 第1章 云数据中心总体方案 3 1.1 设计原则 3 1.2 系统...
  • 先看一下各自的定义:(综合了国外比较权威的解释) 1、数据中心的基础资源 ...软件定义数据中心架构可以分为三个逻辑层:物理层、虚拟化层和管理层。 物理层可以由来自不同厂商的商用硬件...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 75,460
精华内容 30,184
热门标签
关键字:

云数据中心的云管理层