精华内容
下载资源
问答
  • 云计算的五大核心技术
    2022-01-24 10:51:55

    云计算最初的目标是解决资源管理问题,如:计算资源、存储资源、网络资源。

    使用云计算,网络服务提供者可以在瞬息之间,处理数以千万计甚至亿计的信息,实现和超级计算机同样的效能。云计算可以被视为网络计算和虚拟化的融合:即利用网格分布式计算能力,将IT资源构筑成一个资源池,再加上成熟的服务器虚拟化、存储虚拟化技术,使用户可以实时的弹性扩展资源、调配资源。

    云计算的核心技术:

    • 存储技术
    • 虚拟化技术
    • 分布式技术

    存储技术

    块存储
    如:Amazon EBS
    文件存储
    如:Amazon EFS/FSx
    对象存储
    如:Amazon S3

    Amazon S3:Amazon Simple Storage的简称,就是对象存储,通过Key Value的方式,把一个对象存储在网络空间,常用于互联网多媒体对象比如视频,图像等的存储。

    虚拟化技术

    传统虚拟化技术:虚拟化,是指通过虚拟化技术将一台计算机虚拟为多台逻辑计算机。在一台计算机上同时运行多个逻辑计算机,每个逻辑计算机可运行不同的操作系统,并且应用程序都可以在相互独立的空间内运行而互不影响,从而显著提高计算机的工作效率。
    比如用VMWARE创建虚拟机,可以在一台物理主机上模拟出各种硬件,操作系统,形成各种“新主机”。

    容器虚拟化技术:不需要模拟硬件层,共享同一个宿主机的内核。
    与传统虚拟化类似但是有一定区别,容器的操作系统用的是主机的,硬件也是用主机的。容器只带应用文件,和必备的环境。

    docker:如果说容器对标的是虚拟机,那么docker对标的就是VMWARE。
    k8s:k8s是一个开源的容器集群管理系统,可以实现容器集群的自动化部署、自动扩缩容、维护等功能。

    传统虚拟化技术

    如:VMWARE、VirtualBox

    容器虚拟化技术

    如:docker、k8s

    分布式技术

    经典的云计算架构里用到了很多分布式技术,原因是分布式技术在资源池化、大规模扩展能力、硬件故障容错能力、性能提升方面,相对传统的集中式技术有巨大的优势。首先说资源池化,只有池化可以把分散的资源整合起来,对外通过统一的接口来按需分配,极大的提升资源使用效率。

    参考:
    五分钟学后端技术:一篇文章告诉你什么是云计算!
    云计算核心技术有哪些?
    闲话云计算(四) 云计算里的分布式技术
    为什么要虚拟化,为什么要容器,为什么要Docker,为什么要K8S?
    快速学习Docker-传统虚拟化和容器虚拟化的区别
    云计算原理及核心技术?看完你就清楚了

    云计算核心技术八大项
    阿里云计算与大数据35.pptx

    更多相关内容
  • "您现在的位置:首页 > 技术文库 > 技术服务 > 信息产业化 > 文章内容:云计算五大核心技术 " " " " " " " " " " " " " " " " "云计算五大核心技术 " " " " " " " " " " " " " " " " " " " " " " " " " " " " " ...
  • 云计算系统运用了许多技术,其中以编程模型、数据管理技术、数据存储技术、虚拟化技术云计算平台管理技术最为关键。  (1) 编程模型  MapReduce是Google开发的java、Python、C++编程模型,它是一种简化的分布式...
  • 您现在的位置 首页 > 技术文库 > 技术服务 > 信息产业化 > 文章内容: 云计算五大核心技术 云计算五大核心技术 云计算五大核心技术 newmaker 云计算系统运用了很多技术其中以编程模型数据治理技术数据存储技术...
  • 一个云计算的概述PPT,从云计算五大核心技术简略讲解了云计算,对于云计算有一个大致的感官。
  • 云计算系统运用了许多技术,其中以编程模型、数据管理技术、数据存储技术、虚拟化技术云计算平台管理技术最为关键。……
  • 云计算在系统运用中的五大核心技术
  • 文 | 阿里云杨航,CSDN写在前面近日,在2022阿里云峰会发布云基础设施处理器CIPU(Cloud Infrastructure Processing Unit),将其定义为替代CPU成为云计算的管控和加速中心。在这个全新体系架构下,CIPU向下对数据...

    8c5590e5df1918ddb1fb95b034cf00dc.png

    文 | 阿里云 杨航, CSDN

    写在前面

    近日,在2022阿里云峰会发布云基础设施处理器CIPU(Cloud Infrastructure Processing Unit),将其定义为替代CPU成为云计算的管控和加速中心。在这个全新体系架构下,CIPU向下对数据中心的计算、存储、网络资源快速云化并进行硬件加速,向上接入飞天云操作系统,将全球数百万台服务器构建为一台超级计算机。

    众所周知,传统IT时代,微软Windows+Intel联盟取代了IBM PC霸主地位;移动计算时代,谷歌Android/苹果iOS+ARM共同主导了移动终端的技术架构;那么云计算时代,操作系统+laas芯片能发挥什么样的价值?

    本文通过对CIPU分析,讲述了云计算IaaS核心技术,帮助大家扩展视野。

    云计算现状

    在距离2006年云计算鼻祖AWS先后发布S3和EC2有16年之余,距离2010年BAT针对云计算是否“新瓶装旧酒”之争已有12年历史之时,同时Gartner 2021全球IaaS 收入已达900亿美元的当下,市面上依然存在着一些伪云计算概念,比如,转售IDC硬件、转售CDN等。

    云计算行业再次站在了分水岭上,有必要看清楚云的未来到底是什么?什么才是我们需要的云计算?

    作为和水、电一样的公共资源和社会基础设施,云的核心特征是“弹性”和“多租 ”。

    何谓弹性?

    弹性,从广义上讲,是让IT能力轻松跟上用户的业务发展;从狭义上讲,则带给用户无与伦比的灵活性。

    先来看广义弹性的价值,简单讲就是充裕的供给能力,“无限索取”。IT计算力已经成为很多业务的支撑性能力。当业务迅猛发展时,如果计算力跟不上,那么业务必然会受到严重的制约。

    但是计算力的建设并不是一蹴而就的,从地、电、水到机房建造,从数据中心网络铺设到Internet接入,从服务器选型、定制、采购到部署、上线和运维,从单机房、多机房到跨地域甚至跨大洲,然后是安全、稳定性、容灾、备份……最后是最难的,优秀人才的招聘、培训和保有,这些无一不是耗时、耗力、耗财的事项,谈何容易。而弹性计算的出现,则让计算力的获得变得简单而从容。

    下图展示了一个公有云用户随着业务的极速扩张所购买的计算力的增长曲线,短短15个月,计算力需求从零爆发式增长到了数百万核。弹性计算充裕的计算力供给,让用户业务的发展如虎添翼。

    cd9a583b09b6c2d4a95dc69eea0e1b7a.png

    何谓多租?

    逻辑清晰的读者可能已经隐约感觉到“弹性”和“多租”并非严格的正交和并列关系,那么为什么笔者特意把“多租”上升到“弹性”并列的高度来进行讨论?

    严格来说,多租是实现极致弹性和极致社会IT资源效率的必要条件之一。不可否认,私有云确实在一定程度上解决了企业IT资源灵活高效使用的问题,但是私有云和公有云在“多租”这个核心业务特性差异,导致二者之间的天壤之别。

    准确完成对云计算的“弹性”和“多租”业务特性的定义,则可以进一步讨论技术实现层面,如何实现“弹性”和“多租 ”功能,如何在极致安全、极致稳定、极致性能、极致成本等四个维度讨论云计算技术实现层面的演进。

    IaaS的阿克琉斯之踵

    众所周知,IaaS是计算、存储、网络等三大件的IT资源公共服务化;PaaS主要指数据库、大数据、AI等数据管理平台服务化以及K8s云原生和中间件;SaaS则是以微软Office 365、Salesforce等为代表的软件服务化。传统意义上,云计算主要是指IaaS云服务,PaaS和SaaS则是IaaS云平台之上的云原生产品和服务;同时由于本文主题CIPU主要位于IaaS层,因此PaaS和SaaS对CIPU的需求不会在本文重点展开。

    为了实现IaaS计算、存储、网络等IT资源灵活按需供给,其核心特点是资源池化、服务多租、弹性供给以及管理运维自动化等。其背后的核心技术则是虚拟化技术。

    我们简要回顾一下虚拟化技术和公有云服务的历史:

    • 2003年,XenSource在SOSP发表《Xen and the Art of Virtualization》,拉开x86平台虚拟化技术的大幕。

    • 2006年,AWS发布EC2和S3,拉开了公有云服务的大幕。EC2的核心正是基于Xen虚拟化技术。

    可以看出,虚拟化技术和IaaS云计算服务相互成就:IaaS云服务“发现和发掘”了虚拟化技术的业务价值,使得虚拟化技术成为了IaaS云服务的基石;与此同时,虚拟化技术红利让IaaS云服务成为了可能。

    从2003年Xen虚拟化技术发轫,到2005年英特尔开始在至强处理器引入虚拟化支持,加入新指令集并改变x86体系架构,使得虚拟化技术大规模部署成为可能,然后2007年KVM虚拟化技术诞生,持续近20年的IaaS虚拟化技术演进,无不是围绕上述更安全、更稳定、更高性能、更低成本等四大业务目标进行演进。

    简单回顾历史,我们就可以清晰看到IaaS的阿克琉斯之踵 —— 虚拟化技术之痛。

    其一,成本。Xen时代,Xen Hypervisor DOM0消耗XEON一半的CPU资源,也就是只有一半的CPU资源可以对外售卖,可以看到虚拟化云计算税极其沉重。

    其二,性能。Xen时代,内核网络虚拟化时延达到150us之巨,网络时延抖动极大,网络转发pps成为企业核心业务的关键瓶颈,Xen虚拟化架构在存储和网络IO虚拟化方面有不可克服的性能瓶颈。

    其三,安全。QEMU大量设备仿真代码,对于IaaS云计算毫无意义,而这些冗余代码不仅仅会导致额外资源开销,更进一步导致安全攻击敞口(attack surface)无法根本收敛。

    众所周知,公有云成立的基础之一是多租环境下的数据安全。而持续提升硬件的可信能力,数据在计算、存储、网络等子系统流动过程中的安全加密能力,在Xen/KVM虚拟化下技术挑战极大。

    其四,稳定性。云计算稳定性提升,依赖两大核心技术:底层芯片白盒,以此输出更多RAS数据;以及基于这些稳定性数据的大数据运维。虚拟化系统要进一步提升稳定性,则需要进一步深入计算、网络和存储芯片的实现细节,以此获得更多影响系统稳定性数据。

    其五,弹性裸金属支持。诸如Kata、Firecracker等安全容器,多卡GPU服务器在PCIe switch P2P虚拟化开销,头部大用户追求降低极致计算和内存虚拟化的开销,以及VMware/OpenStack支持等需求方面,需要弹性裸金属来支撑这类需求,而基于Xen/KVM虚拟化架构无法实现弹性裸金属。

    其六,IO和算力之间的鸿沟持续扩大。我们以Intel XEON 2 Socket服务器为例,分析存储和网络IO以及XEON CPU PCIe带宽扩展能力,与CPU算力的发展做一个简单对比分析:

    32ba0a0a5a3a2528ebcc4000f8e7d62c.png

    进一步以2018年SkyLake 2S服务器的各个指标(CPU HT数量、DDR整机理论带宽等)为基准,横向对比各个技术指标的发展趋势。以CPU HT数量为例,96HT SkyLake设定为基线1,IceLake 128HT/96HT = 1.3,Sapphire Rapids 192HT/96HT = 2.0,我们可以得到如下Intel 2S XEON服务器 CPU vs. MEM vs. PCIe/存储/网络IO发展趋势:

    0cd0d26fc314dbad5f078a6596771b3c.png

    从上图2018年到2022年四年数据对比,我们可以得到如下结论:

    1、Intel CPU提升了2倍(未考虑IPC提升因素),DDR带宽提升了2.4倍,因此CPU和DDR带宽是匹配的;

    2、单网卡(包含网卡连接的以太交换网络)带宽提升了4倍,单NVMe带宽提升了3.7倍,整机PCIe带宽提升6.7倍,可以看出网络/存储/PCIe等IO能力和Intel XEON CPU的算力之间gap在持续拉大;

    3、上图未分析的时延维度数据,由于Intel CPU频率基本保持不变,IPC未有显著提升,因此CPU处理数据的时延会有小幅改进,PCIe和网卡/网络的时延也仅有小幅改进,而存储NVMe和AEP等新一代存储介质,相对于HDD等老一代介质,在时延方面出现了数量级的下降;

    4、上述计算、网络、存储等基础设施层面发展的不同步,将对数据库和大数据等PaaS层的系统架构产生关键影响,但这非本文讨论重点。

    作为有虚拟化技术背景的人士,看到上述分析,内心一定是沉重的。

    因为在Intel VT等计算和内存硬件虚拟化技术普遍部署后,计算和内存虚拟化的开销(包含隔离性、抖动等)已经得到了相当程度的解决。而上述PCIe/NIC/NVMe/AEP等 IO技术突飞猛进发展的同时,如果继续沿用PV半虚拟化技术,在内存拷贝、VM Exit、时延等方面的技术挑战将愈发凸显。

    CIPU从何处来?

    通过上面的内容,我们基本阐述清楚了IaaS云计算在技术层面面临的问题和挑战,本章节我们将对CIPU技术发展史做一个综述,目的是回答一个问题:CIPU从何而来?毕竟“不了解历史,则无法看清未来”。

    细心的读者如果对上文的“六大虚拟化技术之痛”有进一步思考和分析,应该可以看出6个痛点有一个方面的共性:都在或多或少地讨论IO虚拟化子系统的成本、安全和性能。因此符合逻辑的技术解决思路应该是从IO虚拟化子系统入手。而回望过去20年的技术发展史,也确实印证了上述推导逻辑。

    本文仅选取两个关键技术,来阐述CIPU从何处来:

    其一,IO硬件虚拟化–Intel VT-d

    IO虚拟化子系统存在巨大的需求和技术鸿沟,Intel自然会重点解决。DMA直接内存存取,以及IRQ中断请求在虚拟化条件下的改进,以及对应PCIe标准化组织的跟进,肯定会成为必然。

    从IOMMU地址翻译到中断remapping和posted interrupt,从PCIe SR-IOV/MR-IOV到Scalable IOV,其具体技术实现细节不在本文讨论之列,网上相关资料可谓汗牛充栋,感兴趣的可自行搜索研读。

    而笔者在此罗列Intel VT-d IO硬件虚拟化技术的唯一目的是想说:CPU IO硬件虚拟化技术的成熟,是CIPU技术发展的前置关键技术依赖。

    其二,网络处理器(NPU)和智能网卡

    CIPU另一个设计思路来自通信领域(特别是数通技术)。数通出身的人士,肯定对以太网交换芯片、路由芯片、fabric芯片等特别熟悉,而这其中网络处理器(Network Processor Unit,NPU。特别指出本文网络NPU,非AI Neural Processing Unit)是数通领域的一个关键支撑技术。

    2012年前后,由于受运营商诸多美好愿望驱动(是否能够大规模落地按下不表,但是人总是要有希望,否则“和咸鱼有何差别”),无论是在通信领域的无线核心网还是宽带接入服务器(BRAS)中(如下图),NFV(网络功能虚拟化)都成为重点研发方向。

    一言以蔽之,NFV就是通过标准x86服务器,标准以太交换网、标准IT存储等IT标准化和虚拟化的基础设施,来实现通信领域的网元功能,以此摆脱传统通信烟囱式和垂直化的非标紧耦合软硬件系统,从而达到运营商降本增效和提升业务敏捷度。

    c322306d8afa9cac570506c40d9ed492.png

    (图片来源:ETSI NFV Problem Statement and Solution Vision)

    而NFV运行在IT标准化和虚拟化的基础设施之上,肯定会遇到相当多技术难题。而这些技术难题之一就是:NFV作为网络业务,相对于IT领域典型的在线交易/离线大数据等业务,对于网络虚拟化技术要求有很大差别。NFV天然对高带宽吞吐(默认线速带宽处理)、高pps 处理能力以及时延和抖动等都有更为严格的要求。

    此时,传统NPU进入了SDN/NFV的技术需求视野,不过这一次是把NPU放置到网卡之上而已,而配置NPU的网卡则被称为智能网卡(Smart NIC)。

    可以看到,通信NFV等业务希望部署到标准化和虚拟化的IT通用基础设施之上,然后遇到网络虚拟化性能瓶颈。同时期,IT domain公有云虚拟化技术遭遇了IO虚拟化技术瓶颈。它们在2012年前后,不期而遇。至此,网络NPU、智能网卡等传统通信技术开始进入IT domain的视野。

    时至今日,在解决云计算IO虚拟化这个问题上,可以看到智能网卡、DPU、IPU等仍然被大家混用。原因之一,确实它们有深刻的血脉联系;同时如此之多和如此混乱的名称,也源自于通信领域跨界到IT领域的工程师以及美国多家芯片大厂对云业务需求和场景的不熟悉。

    CIPU定位

    在相关前置技术储备的基础之上,这里我们给出CIPU的定义及定位。

    CIPU(Cloud Infrastructure Processing Unit,云基础设施处理器),顾名思义,就是把IDC计算、存储、网络基础设施云化并且硬件加速的专用业务处理器。

    计算器件、存储资源、网络资源一旦接入CIPU, 就云化为虚拟算力,被云平台调度编排,给用户提供高质量弹性云计算算力集群。

    CIPU架构由以下部分组成:

    1、IO硬件设备虚拟化

    通过VT-d的前置支撑技术,实现高性能的IO硬件设备虚拟化。同时考虑公有云OS生态兼容,设备模型应该尽最大努力做到兼容。因此实现基于virtio-net、virtio-blk、NVMe等业界标准IO设备模型,成为了必须。

    同时注意到IO设备的高性能,那么在PCIe协议层面的优化则至关重要。如何减少PCIe TLP通信量、降低guest OS中断数量(同时平衡时延需求),实现灵活的硬件队列资源池化,新IO业务的可编程和可配置的灵活性等方面,是决定IO硬件设备虚拟化实现优劣的关键。

    2、VPC overlay网络硬件加速

    上文已对网络虚拟化的业务痛点做了简要分析,在这里我们进一步对业务需求进行展开:

    需求1:带宽线速处理能力

    需求2:极致E2E低时延和低时延抖动

    需求3:不丢包条件下的高pps转发能力

    而实现层面,Xen时代内核网络虚拟化,到KVM架构下基于DPDK vSwitch用户态网络虚拟化,面临如下问题:

    1、网络带宽和CPU处理能力的差距日渐拉大

    449787907a7845c73b92e051f239d1b9.png

    (数据来源:xilinx)

    2、DPDK纯软件网络转发性能优化瓶颈凸显

    d1b36d7e908dbc8b318ac246471c46a3.png

    对上述两个问题做进一步分析,可以看出如下三个根本困难:

    1. 100Gbps+大带宽数据移动,导致“冯诺依曼内存墙”问题突出;

    2. CPU标量处理网络虚拟化业务,并行性瓶颈明显;

    3. 基于软件的数据路径处理,时延抖动难以克服。

    此时,基于硬件转发加速的业务需求诞生,技术实现层面可以分为:

    1. 类似于MNLX ASAP、Intel FXP、Broadcom trueflow等基于可配置的ASIC转发技术

    2. 基于many core的NPU技术

    3. FPGA可重配置逻辑实现转发技术

    Intel FXP等基于可配置的ASIC转发技术,具备最高的性瓦比和最低的转发时延,但是业务灵活性就比较捉襟见肘;基于many core的NPU技术,具备一定的转发业务灵活性,但是PPA(power-performance-area)效率和转发时延无法和可配置ASIC竞争。FPGA可重配置逻辑实现转发技术,time to market能力有很大优势,但是对于400Gbps/800Gbps转发业务,挑战很大。

    此时技术实现层面的tradeoff原则:商用IPU/DPU芯片由于需要覆盖更多目标客户,会趋向于牺牲一定PPA效率和转发时延,来获得一定的通用性;而云厂商CIPU会基于自身转发业务进行更多的深度垂直定制,从而获得更极致PPA效率和更极致转发时延。

    3、EBS分布式存储接入硬件加速

    公有云存储要实现9个9的数据持久性,且计算和存储要满足弹性业务需求,必然导致存算分离,EBS(阿里云块存储)必须在计算机头高性能、低时延地接入机尾的分布式存储集群。

    具体需求层面:

    1. EBS作为实时存储,必须实现E2E极致低时延和极致P9999时延抖动;

    2. 实现线速存储IO转发,诸如200Gbps网络环境下实现6M IOPS;

    3. 新一代NVMe硬件IO虚拟化,满足共享盘业务需求的同时,解决PV NVMe半虚拟化IO性能瓶颈。

    计算initiator和分布式存储target之间的存储协议,一般云厂商均会高度垂直优化定制;而CIPU对EBS分布式存储接入硬件加速的核心点就在于此。

    4、本地存储虚拟化硬件加速

    本地存储,虽然不具备诸如EBS 9个9的数据持久性和可靠性,但是在低成本、高性能、低时延等方面仍然具备优势,对计算cache、大数据等业务场景而言是刚需。

    如果做到本地盘虚拟化之后,带宽、IOPS、时延的零衰减,同时兼具一虚多、QoS隔离能力、可运维能力,是本地存储虚拟化硬件加速的核心竞争力。

    5、弹性RDMA

    RDMA网络在HPC、AI、大数据、数据库、存储等data centric业务中,扮演愈来愈重要的技术角色。可以说,RDMA网络已经成为了data centric业务差异化能力的关键。而公有云上如何实现普惠化的RDMA能力,则是CIPU的关键业务能力。

    具体需求:

    1. 基于云上overlay网络大规模部署,overlay网络可达的地方,RDMA网络可达;

    2. RDMA verbs生态100%兼容,IaaS零代码修改是业务成败的关键;

    3. 超大规模部署,传统ROCE技术基于PFC等data center bridging技术,在网络规模和交换网络运维等诸多方面,已经难以为继。云上弹性RDMA技术需要摆脱PFC和无损网络依赖。

    弹性RDMA在实现层面,首先要迈过VPC低时延硬件转发这一关;然后在PFC和无损网络被抛弃的当下,传输协议和拥塞控制算法的深度垂直定制优化就成为了CIPU必然之选。

    6、安全硬件加速

    用户视角看云计算,“安全是1”——没有安全这个“1”,其他业务能力均是“0”。

    因此,持续加强硬件可信技术、VPC 东西向流量全加密、EBS和本地盘虚拟化数据全量加密,基于硬件的enclave技术等,是云厂商持续提升云业务竞争力的关键。

    7、云可运维能力支撑

    云计算的核心是service(服务化),从而实现用户对IT资源的免运维。而IaaS弹性计算可运维能力的核心是全业务组件的无损热升级能力和虚拟机的无损热迁移能力。

    此时涉及到CIPU和云平台底座之间的大量软硬件协同设计。

    8、弹性裸金属支持

    弹性裸金属在具体定义层面必须实现如下八项关键业务特征:

    cb8ad5ae1bb507dfcc3d7de5875f79a1.png

    同时,云计算弹性业务必然要求弹性裸金属、虚拟机、安全容器等计算资源的并池生产和调度。

    9、CIPU池化能力

    考虑到通用计算和AI计算在网络、存储和算力等方面的需求差异巨大,CIPU必须具备池化能力。通用计算通过CIPU池化技术,显著提升CIPU资源利用率,从而提升成本层面的核心竞争力;同时又能够在一套CIPU技术架构体系下,满足AI等高带宽业务需求。

    10、计算虚拟化支撑

    计算虚拟化和内存虚拟化的业务特性增强,云厂商均会对CIPU有不少核心需求定义。

    CIPU体系架构溯源

    经过第五章对CIPU业务的完整定义,我们需要对CIPU的计算体系架构进一步理论溯源。只有计算机工程实践上升到计算机科学视角,才能更为清晰地洞察CIPU的实质,并为下一步的工程实践指明技术方向。这必然是一条从自发到自觉的提升之路。

    第三小节我们得出一个结论:“单网卡(包含网卡连接的以太交换网络)带宽提升了4倍,单NVMe带宽提升了3.7倍,整机PCIe带宽提升6.7倍,可以看出网络/存储/PCIe等IO能力和Intel XEON CPU的算力之间gap在持续拉大。”

    如果仅根据上述结论进行判断,必然会认为CIPU硬件加速是算力offloading(卸载)。但是事情显然并没有如此简单。

    XEON算力可以简化为:ALU等计算处理能力 + 数据层级化cache和内存访问能力。对于普遍的通用计算(标量计算),XEON的超标量计算能力,可谓十分完美。而矢量计算,XEON的AVX512和SPR AMX,定向优化的软件性能会大超预期,同时GPU和AI TPU等异构计算对于矢量计算实现了计算的高度优化。

    因此,CIPU要在通用标量计算和AI矢量计算等业务领域,去完成XEON ALU算力和GPU stream processor的offloading显然不现实。

    如下图,Intel精确定义workload算力特征,以及最佳匹配算力芯片:

    91696911c77132d04e2968c2aac70248.png(图片来源:Intel)

    那么问题来了,CIPU这个socket,最适合的业务workload有什么共同特征?

    深入分析第五小节的10个业务,可以看出它们的共同业务特征:在数据流动(移动)过程中,通过深度垂直软硬件协同设计,尽最大可能减少数据移动,以此提升计算效率。因此,CIPU在计算机体系架构视角的主要工作是:优化云计算服务器之间和服务器内部的数据层级化cache、内存和存储的访问效率(如下图所示)。

    683d0337c4aa39fc706187c4b43e8f8e.png

    行文至此,谨以Nvidia首席计算机科学家Bill Dally的精辟阐述“Locality is efficiency, Efficiency is power, Power is performance, Performance is king.”作为小结。

    那既然CIPU硬件加速不单单是算力卸载,那它是什么?先摆出答案:CIPU是随路异构计算。

    Nvidia/Mellanox已经持续倡导in networking computing(近网络计算)多年,CIPU随路异构计算和它是什么关系?存储领域,也存在多年的computational storage、in storage computing以及near data computing(近数据计算)等概念,CIPU随路异构计算和它们又是什么关系?

    答案很简单:CIPU 随路异构计算 = 近网络计算 + 近存储计算

    进一步对比分析,可以加深对随路异构计算的理解:GPU、Google TPU、Intel QAT等,均可以总结分类为: 旁路异构计算;CIPU位于网络和存储必经之路,因此它的分类为:随路异构计算。

    CIPU&IPU&DPU

    DPU:Data Processing Unit,从业内信息来看,应该源自Fungible;而这个名字真正发扬光大和名噪一时,则要归功于Nvidia的大力宣传推广。在Nvidia收购Mellanox之后,NVidia CEO 黄仁勋对行业趋势的核心判断:数据中心的未来将是CPU、GPU和DPU三足鼎立,并以此为Nvidia Bluefield DPU造势。

    b95d0b377287bcd8e31056b6017dc0d2.png

    从上图可见,中美两国掀起了一轮DPU/IPU技术投资热潮,但是笔者的判断是:这个socket必须基于云平台软件底座(CloudOS)的业务需求,完成CloudOS + CIPU深度软硬件协同设计。只有云厂商才能发挥出这个socket的最大价值。

    在IaaS领域,云厂商追求“北向接口标准化,IaaS零代码修改,兼容OS和应用生态;同时往下做深基础,进一步追求软硬件深度垂直整合”,这背后的技术逻辑是“软件定义,硬件加速”。

    阿里云自研了飞天云操作系统及多款数据中心核心部件,技术家底深厚。基于云平台底座软件,进行深度软硬件垂直整合,推出CIPU,是阿里云的必由之路。

    还值得一提的是,云平台操作系统在长期和大规模的研发和运营中沉淀出来的业务理解和知识积累,以及这个过程中构建的垂直完备研发技术团队,才是CIPU的题中之义。芯片和软件不过是这些知识固化的一种实现形式。


    想进入云计算行业,深入学习云计算技术,欢迎大家加入极客星球,对星球感兴趣的, 点击查看-> 极客星球

    4cac5f7c54babfd62c0497e2ee7cef48.png

    进腾讯了|学习技术哪家强

    变强!

    cd6b99cc4374ffe8a5b2d0bb84fbb34f.png

    没有加我微信同学,可以加我微信,多个朋友多条路,欢迎技术交流,还可以加入高端技术群。

    746e78e3f68279fb3a1c415d0d6064b9.png

    - END -


    看完一键三连在看转发点赞

    是对文章最大的赞赏,极客重生感谢你7fe75a8e72f45a8f8e28c00b371e65ec.png

    推荐阅读

    c8116ac77f4b1de6c5d7f7193252a34e.png

    定个目标|建立自己的技术知识体系


    38b6025c3eeee2091ee3441d714e14cd.png

    大厂后台开发基本功修炼路线和经典资料

    df4ae5a78d64c5edec5de2fee8444568.png

    难走的路,从不拥挤

    你好,这里是极客重生,我是阿荣,大家都叫我荣哥,从华为->外企->到互联网大厂,目前是大厂资深工程师,多次获得五星员工,多年职场经验,技术扎实,专业后端开发和后台架构设计,热爱底层技术,丰富的实战经验,分享技术的本质原理,希望帮助更多人蜕变重生,拿BAT大厂offer,培养高级工程师能力,成为技术专家,实现高薪梦想,期待你的关注!点击蓝字查看我的成长之路

    校招/社招/简历/面试技巧/大厂技术栈分析/后端开发进阶/优秀开源项目/直播分享/技术视野/实战高手等, 极客星球希望成为最有技术价值星球,尽最大努力为星球的同学提供面试,跳槽,技术成长帮助!详情查看->极客星球

                                                                    求点赞,在看,分享三连cee56d43503d6e696d65a7c464f70418.png

    展开全文
  • 精品云计算第三版全套课程PPT学习课件,非常适合学生和职场人士学习,也适合老鸟复习回顾,完全可用于自学入门,很经典好用的PPT课件哦~ 第1章 大数据与云计算第三版 第2章 Google云计算第三版原理与应用(一) 第...
  • 精品云计算第三版全套课程PPT学习课件,非常适合学生和职场人士学习,也适合老鸟复习回顾,完全可用于自学入门,很经典好用的PPT课件哦~ 第1章 大数据与云计算第三版 第2章 Google云计算第三版原理与应用(一) 第...
  • 精品云计算第三版全套课程PPT学习课件,非常适合学生和职场人士学习,也适合老鸟复习回顾,完全可用于自学入门,很经典好用的PPT课件哦~ 第1章 大数据与云计算第三版 第2章 Google云计算第三版原理与应用(一) 第...
  • 精品云计算第三版全套课程PPT学习课件,非常适合学生和职场人士学习,也适合老鸟复习回顾,完全可用于自学入门,很经典好用的PPT课件哦~ 第1章 大数据与云计算第三版 第2章 Google云计算第三版原理与应用(一) 第...
  • “云”这个概念要是放10年前,部分人可能会觉得云里雾里的不好理解,而现在,各种“云”已经无处不在了,相信不少用户已经在使用“微云”“云盘”这样的服务来备份照片了。云计算平台已经不再是一个遥远的IT概念,...

    “云”这个概念要是放10年前,大部分人可能会觉得云里雾里的不好理解,而现在,各种“云”已经无处不在了,相信不少用户已经在使用“微云”“云盘”这样的服务来备份照片了。云计算平台已经不再是一个遥远的IT概念,它开始渗透到各行各业,未来将会像水和电一样,作为基础设施,在看得见和看不见的地方为人们提供服务。

    “云”的概念并没有准确的定义,这个词的来源大约是人们起初在画网络结构图的时候,用云一样的图示来表示互联网。后来人们把通过互联网进行存储、计算等服务,称为云存储或者云计算。而“云端”一般指的是开放的商用数据中心。我们把照片存储在云端,只要有网络,用任何一台电脑或者手机,都可以登录云端去翻看,而不用把照片都复制到这些设备上。

    一、什么是云计算?

    云计算平台也是同样的道理,它是一个数据中心,对资源进行集中管理,这样的好处就是,对于用户来说非常灵活。目前的云计算服务,已经可以提供基础设施、平台和软件这三个层面的服务。

    用户租用基础设施,就相当于租用了一台电脑,用户可以在这台电脑上安装操作系统和应用程序。

    如果租用平台,开发者就不用关心背后的硬件细节,直接使用平台提供的工具来开发软件产品即可。

    而租用软件就更好理解了,目前绝大部分普通用户接触到的电子邮件、网上办公系统,或者网络游戏就属于这种类型。

    也就是说,无论你是企业还是个人,通过按需使用公有云,就可以减少购买不必要的计算机软硬件,从繁杂的系统运行维护中解脱出来。

    你也许还记得一句话,“这个世界上只需要5台电脑就够了”,据说这是在70多年前,当时的IBM董事长ThomasJ.Watson说的。这话后来被不少人拿来当玩笑,因为在这之后,很快就迎来了计算机产业突飞猛进的发展,计算机变得越来越小、计算能力越来越强,而更重要的是计算机也越来越便宜了。从刚开始少数的政府部门、科研单位或大型企业在使用,发展到现在,微型PC机和手机已经走进了千家万户,手机其实也是计算机,而且现在一台普通手机的计算和存储能力,都比当年的电脑强多了。另外,不少企业也拥有了自己的服务器,全世界的计算机起码是数十亿数量级以上了。

    但是,在今天看来,Watson可能是对的,如果云计算平台继续发展,你可能就不再需要自行购买计算机了,而是需要一个显示屏,通过网络来获得你需要的功能。

    二、云计算平台的市场现状

    既然今天云计算平台这么有前景了。那么,现在都有哪些企业在提供云计算服务?它们已经发展到什么程度了呢?

    可以说,云计算平台基本上都是巨头玩家的游戏了。在国际上,基本上是亚马逊、微软和谷歌三足鼎立的状态。目前从体量和成熟度方面都占据了老大地位的,是亚马逊的AWS,AmazonWebServices,他们不停地发布服务白皮书,制定行业标准,成为了规则的制定者。而微软和谷歌也一直在追赶,利用他们在其他方向的技术底蕴,对亚马逊发起挑战。谷歌进入市场比较晚,但凭借强大的技术实力,谷歌云计算平台的增长速度超过了亚马逊和微软。其他巨头企业还包括IBM、Oracle等,都有服务自己客户的云计算平台。

    以上都只是基础设施服务和平台服务层面的。而在软件服务层面,也有一些传统巨头参与,例如SAP,SAP是全球领先的企业管理类软件提供商,它为许多大小企业提供资源规划、客户关系管理和供应链管理等方面的软件,它2012年推出的云平台,为企业用户建立个性化、协作化或者移动化的延伸应用提供了便利。

    三、云计算平台的核心价值

    那么,到底是什么驱动了云计算的发展?又是基于什么原因,各大IT巨头都在争夺老大的地位呢?

    驱动云计算发展的,是大数据和人工智能时代的来临,它所要求的存储和计算能力决定了这必定是一个云的时代。由于历史及现实的因素,通常人工智能的平台机会是属于大公司的;随着平台的发展,也会造成人工智能的各个行业机会出现井喷。而人工智能所依赖的深度神经网络算法,需要大量的数据和高性能的计算进行模型训练,这就对计算机的存储和计算能力提出很高的要求。对于中小企业来说,建造自己成规模的人工智能系统代价是很高的,而业界巨头的云服务系统,拥有超大规模和计算能力,并且每年都有巨资投入来更新,中小企业在他们的云系统上搭建机器学习系统,就变得十分容易了。

    事实上,人工智能与云计算的结合,已经在多个层面影响显现。一方面,全球各大主流云提供商,都开始积极把各种人工智能需要的加速器部署到云端;另一方面,人工智能产品的交付也开始搬上云端,比如今年3月份,谷歌云平台上发布了旗下DeepMind的Text-to-Speech的文字转语音产品,就是基于谷歌平台强大的神经网络计算能力,让机器学习语调、重音、节奏等这些因素,以产生接近真人一样的发音,提高人机交互感。同时,全球大数据市场规模在未来几年内将增长迅速,各个企业需要有弹性的、可扩展的计算基础设施,云计算平台恰恰能提供这样一个供存储、分析,更重要的是高性价比的服务。

    四、关键的基础服务商位置

    目前,国内外的IT巨头,都在投入巨资来建设云计算平台,争夺基础服务商的地位。这其中原因,和各大IT巨头争相布局下一代计算机的逻辑其实是一样的。

    你可以把基础服务商理解为像水和电这样的供应商。在未来互联网世界,谁占据这个基础服务,谁就在未来整个IT产业拥有了不可替代的基础地位,之后的软件和应用的发展,都必须依赖这个基础。当然,有可能有后起之秀因为做应用而成功,甚至做得比前人更大,但应用数量众多,哪个应用会起来很难预测。所以巨头的态度是:我把平台做得更开放些,尽量吸引未来的成功应用都到我的平台上来,这样你成功了我也能分一杯羹。而且云平台的特点是黏性很强,这样成功者的利益可以被云平台长期共享,所以现有的云平台才会显得对应用特别友好。

    那么,云计算平台发展到什么程度了呢?

    实际上,目前云端的应用,大多数所做的仍然是最基本的计算和存储,主流的平台仍然是在做更好的硬件虚拟化。即便如此,云计算服务还是向着实用化方向发展,未来将推动更多应用场景的产生。2018年2月,谷歌宣布将它的TPU(Tensorprocessingunit)对外开放,TPU是一款为机器学习特别定制的芯片,通过云平台使用TPU,机器学习的计算速度将大大提升。当年阿尔法狗战胜李世石的时候,TPU就是其中一个核心的部件。对如此强大的资源进行开放,将会极大地推进人工智能在各行业中应用的发展。谷歌称,他们会在今年继续提升云服务平台的计算能力,让我们继续期待。

    五、云计算平台的发展趋势

    1.云计算把计算资源集中到少数几家数据中心

    首先,云计算服务由几家巨头垄断的态势可能将会越来越明显。IT巨头依靠其雄厚的资金、强大的技术优势和巨大的用户群,占据了绝对的统治地位,小公司几乎没有生存的空间,很可能将来世界上真的只剩下几台大电脑在为我们提供云服务了。如果小公司在私有云和具体某个行业领域里深耕细作,可能还有机会,但仍然需要考虑巨头们强大的累积优势,要形成足够的差异。大部分其他个人和公司,主要还是考虑如何更好地利用当前物美价廉的云平台,提高效率和降低自身的开支,从而可以专注于发展自己本身的业务。

    2.高速网络的大发展

    未来的网络带宽将决定云计算的发展。云计算的逻辑就是把企业的服务器全部放在云端,那么当所有服务器都集中到几大云服务商的时候,网络就成为限制这一发展的最大瓶颈,而连接云计算数据中心的高速网络,就是未来的发展趋势。

    3.未来竞争的核心在于应用场景

    当网络带宽可以满足要求后,竞争将更多集中在应用场景上的创新,因此,与应用场景结合的垂直云服务将更有前景。目前大家能预见的应用是医学图片识别、法律文本、金融分析等,很多其他应用还有待开发和探索。
    人工智能、大数据、云计算和物联网的未来发展值得重视,均为前沿产业,多智时代专注于人工智能和大数据的入门和科谱,在此为你推荐几篇优质好文:
    使用了这么多年的云计算,到底什么才是云计算平台
    http://www.duozhishidai.com/article-13699-1.html
    能否利用Hadoop搭建完整的云计算平台?
    http://www.duozhishidai.com/article-9760-1.html
    谷歌斥资300亿美元建设云计算平台
    http://www.duozhishidai.com/article-5582-1.html


    多智时代-人工智能大数据学习入门网站|人工智能、大数据、物联网云计算的学习交流网站

    多智时代-人工智能大数据学习入门网站|人工智能、大数据、云计算、物联网的学习服务的好平台
    展开全文
  • 精品云计算第三版全套课程PPT学习课件,非常适合学生和职场人士学习,也适合老鸟复习回顾,完全可用于自学入门,很经典好用的PPT课件哦~ 第1章 大数据与云计算第三版 第2章 Google云计算第三版原理与应用(一) 第...
  • 云计算核心技术剖析

    2019-09-26 01:44:02
    都离不开“规矩”的积淀和约束,这个道理对云计算也同样适用,如果读者对云计算本 身有一定的认知和理解,那么就非常有助于今后对其相关的技术和产品的学习,而本章就是这样专注于云计算本身的章节。在本章的开始,...

       古人云:“不以规矩,无以成方圆”,也就是说,“方圆”再怎么精彩和美丽,都离不开“规矩”的积淀和约束,这个道理对云计算也同样适用,如果读者对云计算本 身有一定的认知和理解,那么就非常有助于今后对其相关的技术和产品的学习,而本章就是这样专注于云计算本身的章节。在本章的开始,将关注云计算的定义和特 点,接着将从思想和技术这方面来分析云计算的由来,并讲述一下云计算的诞生与成长,最后将重点介绍云计算对整个 IT 产业的影响和主要的使用场景。

     

     

       1.1 什么是云计算

            云计算到底是什么呢?

      在这个问题上,可谓众说纷纭。比如,在维基百科上的定义是“云计算是一种基于互联网的计算新方式,通过互联网上异构、自治的服务为个人和企业用户提供按需即取的计算”;著名咨询机构 Gartner 将云计算定义为“云计算是利用互联网技术来将庞大且可伸缩的 IT 能力集合起来作为服务提供给多个客户的技术”;而 IBM 则认为“云计算是一种新兴的 IT 服务交付方式,应用、数据和计算资源能够通过网络作为标准服务在灵活的价格下快速地提供最终用户”。

      虽然这几个定义都有一定的道理,但在我看来还没抓住云计算的核心,在我眼中, 云计算应该有如图 1-1 :云计算是新一代 IT 模式,它能在后端庞大的云计算中心的支撑下能为用户提供更方便的体验和更低廉的成本。

     

     

     

     

     

     

     

      具体而言,由于在后端有规模庞大、非常自动化和高可靠性的云计算中心的存在,人们只要接入互联网,就能非常方便地访问各种基于云的应用和信息, 并免去了 安装和维护等繁琐操作,同时,企业和个人也能以低廉的价格来使用这些由云计算中心提供的服务或者在云中直接搭建其所需的信息服务。在收费模式上,云计算和 水电等公用事业非常类似,用户只需为其所使用的部分付费。对云计算的使用者(主要是个人用户和企业)来讲,云计算将会在用户体验和成本这两方面给他们带来 很多非常实在的好处。
     
      1.1.1 用户体验
      对个人用户而言,在云计算的时代,会出现越来越多的基于互联网的服务,这些服务丰富多样、功能强大、随时随地接入,同时也无需购买、下载和安装任何的 客 户端,并只要使用浏览器就能轻松访问,而无需为软件的升级和病毒的感染操心。还有,人们可以将文档等数据放在云来进行共享和协作,比如,共同编辑同一篇文 章,而且通过严格的权限管理机制,来确保协作是在安全的环境下进行。对企业用户而言,可以利用云技术来优化其现有的 IT 服务,使现有的 IT 服务更可靠和更自动化,更可以将企业的 IT 服务整体迁移到云上,使企业卸下维护 IT 服务的重担,从而更专注于其主营业务。
      1.1.2 成本
     
      对个人用户而言,由于他们所使用的服务运行在云端,本地计算需求比较少,所以无需像过去那样不断地升级电脑的配置或者购买昂贵的新电脑,只需一个廉价 的 可以上网的智能终端,比如:手机和上网本等。同时由于互联网服务是按需使用,而无需在初期购置不廉价的软件客户端。对企业用户而言,除了可以通过利用先进 的云技术来降低企业 IT 初期的投资成本和后期的维护成本之外,更可以通过将 IT 服务外包或者整体迁移到外部的云中来削减 IT 部门的规模,这样能使得公司成本的结构更完善。

      上面提到的一些云计算的优点和好处,而这些东西都没有远离云计算自身的特点,而是息息相关的。
     
      云计算的特点
     
      在特点方面,主要有十点,除了常见的超大规模、高可扩展性和按需服务之外,还有自动化和节能环保等。
     
      (1)    超大规模:大多数云计算中心都具有相当的规模,比如, Google 云计算中心已经拥有几百万台服务器, 而 Amazon 、 IBM 、微软、 Yahoo 等企业所掌控的云计算规模也毫不逊色,并且云计算中心能通过整合和管理这些数目庞大的计算机集群来赋予用户前所未有的计算和存储能力。  
      (2)    抽象化:云计算支持用户在任意位置、使用各种终端获取应用服务,所请求的资源都来自“云”,而不是固定的有形的实体。应用在“云”中某处运行,但实际上用户无需了解、也不用担心应用运行的具体位置,这样能有效地简化了应用的使用。
      (3)    高可靠性:在这方面,云计算中心在软硬件层面采用了诸如数据多副本容错、心跳检测和计算节点同构可互换等措施来保障服务的高可靠性,还在设施层面上的能源、制冷和网络连接等方面采用了冗余设计来进一步确保服务的可靠性。
      (4)    通用性:云计算中心很少为特定的应用存在,但其有效支持业界大多数的主流应用,并且一个“云”可以支撑多个不同类型应用的同时运行,并保证这些服务的运行质量。

      (5)    高可扩展性:用户所使用“云”的资源可以根据其应用的需要进行调整和动态伸缩,并且再加上前面所提到的云计算中心本身的超大规模,使得“云”能有效地满足应用和用户大规模增长的需要。
      (6)    按需服务:“云”是一个庞大的资源池,用户可以按需购买,就象自来水、电和煤气等公用事业那样根据用户的使用量计费,并无需任何软硬件和设施等方面的前期投入。
      (7)    廉价:首先,由于云计算中心本身巨大规模所带来的经济性和资源利用率的提升,其次,“云”大都采用廉价和通用的 X86 节点来构建,因此用户可以充分享受云计算所带来的低成本优势,经常只要花费几百美元就能完成以前需要数万美元才能完成的任务。
      (8)    自动化:云中不论是应用、服务和资源的部署,还是软硬件的管理,都主要通过自动化的方式来执行和管理,从而极大地降低整个云计算中心庞大的人力成本。
      (9)    节能环保:云计算技术能将许许多多分散在低利用率服务器上的工作负载整合到云中,来提升资源的使用效率,而且云由专业管理团队运维,所以其 PUE ( Power Usage Effectiveness ,电源使用效率值)值和普通企业的数据中心相比出色很多,比如, Google 数据中心的 PUE 值在 1.2 左右,也就是说,每一块钱的电力花在计算资源上,只需再花两角钱电力在制冷等设备,而常见的 PUE 在 2 和 3 之间,并且还能将云建设在水电厂等洁净资源旁边,这样既能进一步节省能源方面开支,又能保护了环境。
      (10)  完善的运维机制:在“云”的另一端,有全世界最专业的团队来帮用户管理信息,有全世界最先进的数据中心来帮用户保存数据。同时,严格的权限管理策略可以保证这些数据的安全。这样,用户无需花费重金就可以享受到最专业的服务。    
          由于这些特点的存在,使得云计算能为用户提供更方便的体验和更低廉的成本,同时这些特点也是为什么云计算能脱颖而出,并且能被大多数业界人员所推崇的原因之一,那么云计算是怎么诞生的呢?
     
      1.2 云计算的由来
     
      虽然很多伟大发明和技术在我们看来都是些突发奇想的产物,但当真正探究起来,这些东西大都通过一代人,甚至于几代人的积累演变而成的,其中最明显的例 子,莫过于计算机本身。早在 2000 年前,我们中国人就已经发明了算盘这一强大的计算工具;在 1642 年,法国数学家帕斯卡在在英国数学家奥特雷得所制作的“计算尺”的基础上,将其加以改进,制成了能进行八位计算的“加法器”;在 1673 年,德国大师莱布尼茨在巴黎制造了一个能进行加、减、乘、除及开方运算的计算机,名为“乘法器”;在 1820 年,英国人查尔斯•巴比奇已经在构想和设计了世界上第一台完全可编程的计算机,可惜介于当时的技术条件和经费限制,使得这台计算机始终未能在他有生之年问 世;到了 20 世纪,艾伦•图灵的图灵机思想和新兴的电子技术都对最后 ENIAC 的问世都起着非常关键的作用。还有,我们耳熟能详,但晦涩难懂的相对论也同样如此,如果没有麦克斯韦尔、迈克尔逊和洛仑兹等大师的积淀,估计爱因斯坦是很 难完成相对论的谱写。
        当我们谈到云计算时,难道它就是突发奇想,就是特例吗?其实虽然云计算这个名词只是 Google CEO 埃里克•施密特博士当年在担任 SUN 系统公司的 CTO ( Chief Technology Officer ,首席技术官)时候的一次偶然所得,但是其概念本身不仅和前言中提到的过去电力的发展是密不可分的,而且更是整个 IT 产业非常自然的发展和演化。这些发展和演化不仅存在于思想方面,而且涉及技术方面的进步。
     
      1.2.1 思想演化
      云计算在思想方面主要经历了四个步骤才发展到现在这样比较成熟的水平,这四个步骤依次是电厂模式、效用计算、网格计算和现在的云计算,如图 1-2 所示。

     

     

     

     

       1. 电厂模式

      由于 IT 行业本身是一个比较新生的行业,所以从其他行业取经是其发展不可或缺的一步,最出名的例子之一莫过于从建筑行业,引入“模式( Pattern )”这个概念。虽然在 IT 界,电厂这个概念不像“模式”那样炙手可热,但其影响是深远的,而且有许许多多的 IT 人在不断地实践着这个理念,它的意思是通过利用电厂的规模效应,来降低电力的价格,并让用户使用起来更方便,且无需维护和购买什么任何发电设备。

      2. 效用计算

      在 1960 年左右, 当时计算设备的价格是非常高昂的,远非普通企业、学校和机构所能承受的,所以有很多人产生了共享计算资源的想法,特别是在 1961 年,人工智能之父麦肯锡在一次会议提出了“效用计算( Utility computing )”这个概念,其核心就是借鉴了上面所提到的电厂模式,具体目标是通过结合分散各地的服务器、存储系统以及应用程序来共享给多个用户,使得用户能够象把灯 泡插入灯头一样来使用计算机资源,并且根据其所使用的量来付费。接着,在 1966 年 D.F.Parkhill 在其经典的《计算机公用事业的挑战》一书中也提出了类似的观点,但由于当时整个 IT 产业还处于初创期,很多强大的技术还未诞生,比如互联网等,导致虽然这个想法一直被大家所传承,但是总体而言“叫好不叫座”。

      3. 网格计算

      谈到网格计算( Grid Computing ),主要由于翻译的问题,使得国内的技术人员无法领会其精髓和真谛。网格计算中的网格,也就是“ Grid ”,其英文原意并不是我们所认为网络的网格,而是电力的网格,所以其核心与上面的效用计算非常接近,但是它的侧重点略有不同,它研究如何把一个需要非常巨 大的计算能力才能解决的问题分成许多小的部分,然后把这些部分分配给许多许多相对低性能的计算机来进行处理,最后把这些计算结果综合起来攻克一个非常大的 难题。可惜的是,由于网格计算在商业模式、技术和安全性这三方面的不足,使得其并没有在工程界和商业界取得预期的成功,但在学术界,还是有一定的应用,比 如用于寻找外星人的“ SETI ”计划等。

      4. 云计算 

      云计算的核心和前面的效用计算与网格计算非常类似,也是希望能使 IT 技术能像使用电力那样方便,并且成本低廉,但与前两者不同的是,现在在需求方面,已经有一定的规模,同时在技术方面,也已经基本成熟了,所以云计算和前两者相比更有前途。

      1.2.2 技术支持

     

     

     

      光有理念不行,如果没有强大的技术做支撑的话,云计算也会像先前的效用计算和网格计算那样只能局限于学术界,如图 1-3 所示的那样,云计算主要有五大类技术的支持,而就是由于这些技术所提供的强大动力,使得云计算不再是空中楼阁。

      1. 摩尔定律

      随着摩尔定律依旧推动着整个硬件产业的发展,包括芯片、内存和硬盘等硬件设备在性能和容量方面得到了极大的提升,在这方面,最明显的例子,莫过于芯 片,虽然在单线程性能方面,其并没有像奔腾时代那样突飞猛进,但是已经非常强悍了,再加上多核的配置,使得整体性能达到一个前所未有的境界,比如,最新的 X86 芯片在性能上已经是 30 年前 8086 的一千倍,而现在用于手机等低能耗移动设备的 ARM 芯片在性能上比过去的大型主机上的芯片强大的多,同时这些硬件设备在价格方面也比过去更平易近人。还有,诸如 SSD 和 GPU 等新兴技术的引入都极大地推动着 IT 产业的发展。可以说,摩尔定律给予云计算所需的充足“动力”。

      2. 网络设施 

      由于 ADSL 宽带和现在的光纤入户的不断普及,使得现在的网络带宽已经从过去平均 50Kb 增长至现在平均 1Mb 以上,从而基本满足了大多数服务的需求,包括视频等多媒体服务。再加上无线网络和移动通信的不断发展,从而使得人们能在任何时间任何地点都利用互联网的梦 想成为了可能,可以说,现在互联网不再像过去那样是一种奢侈品,而是社会的基础设施,并使得终端和云紧紧地连起来。

      3.Web 技术

      Web 技术已经从 90 年初的“混沌期”和本世纪初的“阵痛期”走出,已经进入“快速发展期”,并随着类似 AJAX 、 jQuery 、 Flash 、 Silverlight 和 HTML5 等 Web 技术的不断地发展, Chrome 、 Firefox 和 Safari 等性能出色和功能强大的浏览器的不断涌现,使得 Web 已经不再是只能显示简单的页面或者在用户体验方面远逊于传统的桌面应用,而是能支持多种多媒体功能和复杂的事件处理,在用户体验方面已经越来越接近桌面应 用,使得用户只要通过互联网和云连上,就能通过浏览器使用各种功能强大的 Web 应用。

      4. 系统虚拟化 

      虽然就像上面摩尔定律那段提到那样, X86 芯片性能已经非常强悍了,但每台 X86 服务器的利用率还是在个位数徘徊,可以说,在能源和购置成本等方面浪费极大,但随着 VMware 的 vSphere 和开源的 Xen 等基于 X86 架构的系统虚拟化技术的不断发展,使得一台服务器能整合过去多台服务器的负载,从而有效地提升硬件的利用率,并降低能源的浪费和硬件的购置成本,更重要的 是,通过这些技术能有效地提升了数据中心自动化管理的程度,从而极大地减少在管理方面的投入,使云计算中心的管理更智能。

      5. 移动设备 

      随着苹果的 iOS 和 Google 的 Android 这类智能手机系统不断地发展和普及,使得诸如手机这样的移动设备已经不仅是一个移动的电话而已,更是一个完善的信息终端,能够通过它们轻松地访问互联网上 的信息和应用,并且在整体功能上越来越接近台式机的水平,使得通过这些移动设备能够随时随地地访问云中的服务。 

      就像上文所提到的那样,云计算并不是突发奇想的产物,而是通过在思想和技术这两方面不断地成熟和发展,使得云计算有了一块“肥沃”的土壤,让其能自由地生长。

      1.3 云计算的诞生

      虽然在云计算诞生在一块“肥沃”的土壤之上,但是如果没有非常好的契机的话,云计算只会像小的溪流那样慢慢地流淌,而也不会像今天那样宛如无数个小溪 流合并而来的长江之水那样滚滚而来,并推动着整个 IT 产业的发展。我认为有五个非常重要的契机一步步地触发了云计算的诞生。

      1.3.1 SaaS 的诞生

      在 1999 年,桌面应用还是唯一主流的时候,当时 Oracle 的高管 Marc Benioff 看准了 Web 应用将取代桌面应用这一大趋势,创建了 Salesforce 这家以销售在线 CRM ( Customer relationship management ,客户关系管理)为主的互联网公司,并定义了 SaaS ( Software as a Service ,软件即服务)这个概念,意思是软件将会以在线服务形式提供给用户,而且避免了安装和运维等繁琐的步骤。 Salesforce 的在线 CRM 一经推出,不仅受到来自技术界的好评和用户支持,而且越来越多的软件选择了 SaaS 这种模式来进行发布。总的来说,由于 SaaS 的诞生和不断地发展,使人们开始相信类似云计算的产品,不论在技术上,还是在商业上都是可行的

      1.3.2 《 IT 不再重要》的发表

      2003 年,尼古拉斯•卡尔在发表在《哈佛商业评论》上的一篇非常具有轰动性文章,名为《 IT 不再重要》,在这篇文章中,尼古拉斯•卡尔犀利地提出 IT 技术已经日用品化了。虽然这样能使大多数的企业从 IT 中获益,但是 IT 已经很难给企业带来一定的竞争优势。虽然在刚发表时,此文受到了包括当时 Intel 董事长克瑞格•贝瑞特在内整个 IT 界的口诛笔伐,并导致尼古拉斯•卡尔甚至自称其为 IT 界的“全民公敌”。但是,从今天,也就是文章发表的七年后看来,此文不仅促使了广大的 IT 从业者不断地反思,从而推动了 IT 产业的改革,因为 IT 技术的日用品化并不是 IT 业的末日,而是下一次创新和发展的基石,而且还引出了《大转变》这本“云计算的圣经”。

      1.3.3 Google 的三大核心技术

      在 2003 年的 SOSP 大会上 Google 发表了 GFS ( Google File System , Google 文件系统)这个分布式存储系统的论文;在 2004 年的 OSDI 大会上发表了 MapReduce 这个分布式处理技术的论文,;在 2006 年的 OSDI 大会上发表了 BigTable 这个分布式数据库的论文。这三篇重量级论文的发表,不仅使大家了解 Google 搜索引擎背后强大的技术支撑,而且克隆这三个技术的开源产品像雨后春笋那样不断地涌现, MapReduce 的有 Hadoop , GFS 的有 HDFS ,而 BigTable 则有 Hbase 、 Hypertable 和 Cassandra 等,这三篇论文和相关的开源技术极大地普及了云计算中非常核心的分布式技术。

      1.3.4 Amazon Web Service 的推出

      Amazon 的 B2C 业务有点类似中国移动的短信业务,平时流量很大,但是到每年特定的时刻(比如 Amazo 的圣诞节和中国移动的春节等),流量更是数量级的攀升,在这种情况下, Amazon 需要购置远超其平常使用量的硬件资源以应对圣诞节的流量,很显然,会有很多资源被浪费,所以 Amazon 想出租借硬件资源给公众,以减少浪费的想法,这也是其推出 Amazon Web Service 的最主要的原因。在 2006 年初, Amazon 推出了 Amazon Web Service 第一款产品 S3 ( Simple Storage Service ,简单存储服务)云存储服务,在 2006 年 8 月推出了另一款 Amazon Web Service 产品 EC2 ( Elastic Compute Cloud ,弹性计算云)云基础设施服务,之后还推出了包括 SimpleDB 、 Simple Queue Service 和 CloudFront 等近 20 种云服务。 Amazon Web Service 的推出标志着云计算相关的产品已经出现,并基本可用,虽然那时还没有云计算这个说法。

      1.3.5 IBM 和 Google 的合作

      一位名叫克里斯托夫•比希利亚的 Google 高级工程师,为了推广 Google 一些新的技术,所以他利于其 20% 的时间在他的母校华盛顿大学开了一门名叫“ Google 101 ”的课程,通过这门课程指导学生学习一些常用于 Google 内部的分布式技术,比如 MapReduce 等。接着,这个项目也得到 IBM 方面的支援,在合作的过程中, IBM 和 Google 都从中意识到这些分布式技术在商业和科研方面的强大潜力,并最终在 2007 年 10 月 8 日共同宣布了一项“大规模分布式计算”推进计划,两家公司将投资建立一个大型的数据中心,学生可以通过互联网远程访问该数据中心,并进行远程的研究,这个 项目也称为“云计算”的推进计划,这就是云计算的诞生。

        1.4 云计算的成长

      在云计算这个概念诞生之后,虽然受到一定程度的非议,但是总体而言,云计算还是得到了大家的欢迎,而且大家对云计算的认识也在不断地加深中,并且业界有很多知名公司都出台了一系列产品或者规划。表 1-1 是云计算概念诞生以来的编年史。  

         通过上面提到的这些产品发布和各种预测,我们应该可以看出业界对于云计算是非常看好和关注的。

      1.5 云计算的影响

      虽然云计算最初只是由 IBM 和 Google 这两家公司所主导的,但是就像图 1-4 所示那样云计算将会对整个 IT 产业带来非常深远的影响,其中包括服务器供应商、软件开发商和云终端供应商这三个云计算建设者和作为云计算运维者的云供应商。本章将从上面提到的这四个角 度进行分析,之后,会总结云计算对整个 IT 产业的影响。

     

     

     

      1.5.1 服务器供应商的角度

      这类型的公司主要包括 IBM 、 HP 、 Dell 和 Cisco 等。主要有两个方面的变化:其一,是需求方面的变化,虽然中小企业会不断地加大对 IT 技术使用,但由于它们将会把云服务作为首选,所以对服务器供应商而言,来自中小企业的订单将会不断的减少,但来自云供应商的订单则会大量的增加;其二,是 产品方面的变化,由于大型云计算中心,对硬件有自己一套的设计和想法,所以会希望服务器供应商能生产为它们定制的硬件,这导致服务器供应商他们整体产品的 方向将会从原先的以生产通用的 X86 服务器为主,转变为通用和定制兼顾,而且为云计算做优化的解决方案将受到极大欢迎。虽然云计算将会对部分非常依赖中小企业的硬件厂商带来非常不利的影响, 但是从长期而言,对那些不断创新,并且提出非常优秀的云计算解决方案的硬件厂商,将会脱颖而出,并从云计算大潮中获利丰厚。

      1.5.2 软件开发商的角度

      最典型的公司有微软、 Red Hat 、 Oracle 和 VMware 等。主要有三方面的变化:首先,在软件交付方式上的变化,由于虚拟器件( Virtual Appliance )等软件发布格式的引入,使得不仅软件的开发,维护和销售等方面的成本和复杂度得到了降低,而且也加快了软件部署的速度;其次,在软件销售和发布方式上的 变化,由于各种基于云的软件发布平台(比如苹果的 App Store 、中国移动的 Mobile Market 和 VMware Virtual Appliance Marketplace 等)的出现,使得发布、推广和销售软件越来越简单,而且成本更低,比如,和传统软件发布前期需要大量资金支持不同的是,在苹果的 App Store 上发布软件的成本基本为零,而且能直面超过 5000 万 iOS 系统(包括 iPhone 、 iPod Touch 和 iPad )的使用者,同时这些用户的消费能力也是非常强大的;最后,在技术上的变化,软件将与云技术进行深度地整合,比如,应用类的软件,基本上都将选择 Web 作为其首选的界面,而中间件和底层的系统软件将会为运行在云中做更多的优化。

      1.5.3 云终端供应商的角度

      这方面的公司有 Apple 、 Nokia 、三星和联想等。由于移动设备的轻便型,再加上性能的日渐提高和能方便地接入多种无线网络(比如 WIFI 和 3G 等),所以市场对移动设备需求将与日俱增,而且将来云终端将不会仅是手机、平板和笔记本这几种移动设备,而将会涉及社会的方方面面,比如电视和汽车等,所 以在这方面会有非常大创新空间等待着这些公司。

      1.5.4 云供应商的角度 

      相关的公司有国外的 Amazon 、 Google 和 RackSpace 等,国内的有中国移动和中国电信等。随着云计算不断推广和被大众所接受,使得云计算中心在运营的规模上会不断地增大, 这将会给云供应商带来很多机会来降低其运营成本,并提升经营利润,比如,将云计算中心建设在能源成本底的地方(比如电厂附近)或者建在制冷成本底(比如天 气寒冷的地点)的地方。而且由于运行的工作负载的规模非常庞大,将整体提高服务器利用率。同时云的业务都属于非常稳定的,所以能给云供应商带来持久的现金 流。

      1.5.5 整个 IT 产业的角度 

      不可否认,在短期内,由于产业结构的变化,云计算有可能将会给整个 IT 产业带来一定程度的阵痛,但是从长期而言,云计算将会对整个 IT 产业带来非常正面的影响,因为云计算将推动整个产业的进一步的优化布局和专业分工,并且提供一个让所有 IT 人不断地创新的舞台,最终,这些参与者会像之前大型机时代和 PC 时代那样同心协力创造出一整套属于云计算的产业链。

      1.6 云计算的使用场景

      有些 IT 从业人员在谈到云计算的时候,总是认为云计算只是广告词而已,实际的用处是非常有限。对于这种看法,我不以为然,因为不仅云计算的部分技术已经落地,而且云计算将在 IT 产业各个方面都有其用武之地,在这里,选择十个比较典型的使用场景来加以介绍。

      1.6.1 IDC 云

      传统 IDC ( Internet Data Center ,互联网数据中心)的服务已经无法满足用户的需求,用户期望更强大、更方便和更灵活的 IDC 服务。 IDC 云是在 IDC 原有数据中心的基础上,加入更多云的基因,比如系统虚拟化技术、自动化管理技术和智慧的能源监控技术等。通过 IDC 的云平台,用户能够使用到虚拟机和存储等资源。还有, IDC 可通过引入新的云技术来提供许多新的具有一定附加值的服务,比如, PaaS 等。现在已成型的 IDC 云有 Linode 和 Rackspace 等。

      1.6.2 企业云

      对任何大中型企业而言, 80% 的 IT 资源都用于维护现有应用的,而不是让 IT 更好地为业务服务。使用专业的企业云解决方案来提升企业内部数据中心的自动化管理程度,将整个 IT 服务的思维从过去的软硬件思维转变为以提供服务为主,使得 IT 人员能分出精力来为业务创新,成为半个业务人员。企业云对于那些需要提升内部数据中心的运维水平和希望能使整个 IT 服务更围绕业务展开的大中型企业非常适合。相关的产品和解决方案有 IBM 的 WebSphere CloudBurst Appliance 、 Cisco 的 UCS 和 VMware 的 vSphere 等。

       1.6.3 云存储系统

      由于数据是企业的非常重要的资产和财富,所以需要对数据进行有效的存储和管理,而且普通的个人用户也需要大量的存储空间用于保存大量的个人数据和资 料,但由于本地存储在管理方面缺失,使得数据的丢失率非常高。而云存储系统能解决上面提到这些问题,它是通过整合网络中多种存储设备来对外提供云存储服 务,并能管理数据的存储、备份、复制和存档,还有,良好的用户界面和强大的 API 支持也是不可或缺的。云存储系统非常适合那些需要管理和存储海量数据的企业,比如互联网企业,电信公司等,还有广大的网民。相关的产品有:中国电信的 E 云、 Amazon 的 S3 云存储服务、 Google 的 Picasa 相册和微软的 SkyDrive 网络硬盘等。

      1.6.4 虚拟桌面云

       对许多企业而言,桌面系统的安装、配置和维护都是其 IT 运营非常重要的一个方面,桌面系统的分散管理将给整个 IT 部门带来沉重的压力,而且相关的数据和信息安全不能受到有效地监控,同时企业更希望能将降低终端桌面系统的整体成本,并且使用起来更稳定和灵活。虚拟桌面 云是这方面一个非常不错的解决方案,其是利用了现在成熟的桌面虚拟化技术。桌面虚拟化技术是将用户的桌面环境与其使用的终端进行解耦,在服务器端以虚拟镜 像的形式统一存放和运行每个用户的桌面环境,而用户则可通过小型的终端设备来访问其桌面环境,还有,系统管理员可以统一地管理用户在服务器端的桌面环境, 比如安装、升级和配置相应地软件等。这个解决方案比较适合那些需要使用大量桌面系统的企业。相关的产品有 Citrix 的 Xen Desktop 和 VMware 的 VMware view 。

      1.6.5 开发测试云

      开发测试总是繁琐、易错和耗时的过程,特别是在准备测试环境上面,还有会遇到诸如测试资源管理混乱,难于重现问题发生的环境和缺乏压力测试所需要的强 大计算能力等棘手问题。而开发测试云能有效解决上面这些问题,其通过友好的 Web 界面,可以预约、部署、管理和回收整个开发测试的环境,通过预先配置好(包括操作系统,中间件和开发测试软件)的虚拟镜像来快速地构建一个个异构的开发测 试环境,通过快速备份 / 恢复等虚拟化技术来重现问题,并利用云的强大的计算能力来对应用进行压力测试,比较适合那些需要开发和测试多种应用的组织和企业,比如银行、电信和政府 等。相关解决方案有 IBM Smart Business Development and Test Cloud 。

      1.6.6 大规模数据处理云

      企业需要分析大量的数据来洞察业务发展的趋势,可能的商业机会和存在的问题,从而做出更好、更快和更全面的决策。还有,物联网会采集海量需要处理的数 据。大规模数据处理云通过将数据处理软件和服务运行在云计算平台上,能利用云平台的计算能力和存储能力来对海量的数据进行大规模的处理,除了上面提到的物 联网之外,还有许多企业和机构都会有这方面的需求。相关产品有 Apache 的 Hadoop 等。

      1.6.7 协作云

      电子邮件、 IM ( Instant Messaging ,即时通讯)、 SNS ( Social Networking Services ,社交网络服务)和通信工具(比如 Skype 和 WebEx )等都是很多企业和个人必备的协作工具,但是维护这些软件和其硬件却是一件让人非常头疼的工作。协作云是云供应商在 IDC 云的基础上或者直接构建一个专属的云,并在这个云搭建整套的协作软件,并将这些软件共享给用户,非常适合那些需要一定的协作工具,但不希望维护相关的软硬 件和支付高昂的软件许可证费用的企业与个人。这方面,最具代表性的产品莫过于 IBM 的 LotusLive ,它主要包括会议、办公协作和电子邮件这三大服务。当然 Google Apps 也是不容忽视的,其中 Gmail 和 Gtalk 都是协作的利器。

      1.6.8 游戏云

      由于传统游戏软件容量都非常巨大,无论是单机,还是网游,都需要在游戏之前,花很多时间在下载和安装上,使玩家无法很尽兴地玩游戏,再加上游戏的购置 成本偏高,使得玩家在尝试新游戏方面,兴趣骤降。在这方面,业界部分公司推出了游戏云的解决方案,主要有两大类:其一是使用更多基于 Web 的游戏模式,比如使用 JavaScript 、 Flash 和 Silverlight 等技术,并将这些游戏部署到云中,这种解决方案比较适合休闲游戏;其二是为大容量和高画质的专业游戏设计的,整个游戏都将在运行云中,但会将最新生成的画 面传至客户端。总之,休闲玩家和专业玩家都会在游戏云找到自己的所爱。在产品方面:第一种游戏云,已经有很多游戏都采用这种方案,比如许多 Facebook 上的休闲游戏采用了后端云和前端 Flash 这样的组合;而第二种游戏云, AMD 已经发布了类似的技术,但碍于现有的网络环境,所以短时间内不会有特别成熟技术出现。

      1.6.9 HPC 云

      在科学方面 HPC ( High Performance Computing ,高性能计算)领域,现在主要有两方面挑战:其一是供需不平衡,要么是现有的 HPC 资源太过稀少,无法满足大众的需求,要么就是贫富不均,导致 HPC 资源无法被合理的分配;其二是现有的 HPC 设计和需求不符,虽然 HPC 已经发展了很多年,但是在设计还是将所有的计算资源整合在一起以追求极致速度为主,但是现在的主流需求则常以只需要一小块计算资源为主,这导致 HPC 计算资源被极大地浪费,所以新一代的高性能计算中心不仅仅需要提供传统的高性能计算,而且还需要增加资源的管理、用户的管理、虚拟化的管理、动态的资源产 生和回收等等。这时,基于云计算的高性能计算应运而生,也就是 HPC 云,其能够为用户提供可以完全定制的高性能计算环境,用户可以根据自己的需求来改变计算环境的操作系统、软件版本和节点规模,从而避免与其他用户的冲突, 并可以成为网格计算的支撑平台,以提升计算的灵活性和便捷性。 HPC 云特别适合需要使用高性能计算,但缺乏巨资投入的普通企业和学校。北京工业大学已经和 IBM 合作建设国内第一个 HPC 云计算中心。

      1.6.10 云杀毒

      新型病毒的不断涌现,使得杀毒软件的病毒特征库的大小与日俱增,如果在安装杀毒软件的时候,附带安装庞大的病毒特征库的话,将会影响用户的体验,而且 杀毒软件本身的运行也会极大地消耗系统的资源。通过云杀毒技术,杀毒软件可以将有嫌疑的数据上传到云中,并通过云中庞大的特征库和强大的处理能力来分析这 个数据是否含有病毒,这非常适合那些需要使用杀毒软件来捍卫其电脑安全的用户。现有的杀毒软件都支持一定的云杀毒这个特性,比如 360 杀毒和金山毒霸等。

      本章已经给大家介绍云计算概念相关的几个方面,比如定义、由来、成长和诞生等,估计大家现在已经对云计算有了些基本的认识,并且有可能对云计算充满了更多的好奇,而下章将选取云计算概念中非常重要的一部分 -- 架构,来进行深入地介绍和讲解。

     

      第 2   云计算的架构

     

     

       IT ,身为一个新兴行业,其在发展历程中向其他行业借鉴了一些先进的思想和理念,最明显的例子除了上面提到的从电力行业学习了公用事业这种商业模式和从丰田汽车流水线生产中总结出精益这套编程模式之外,还有,就是在软件设计方面,引入了架构这个在建筑行业非常核心的概念。

        架构,对软件系统而言是极为重要的,因为它不仅定义了系统内部各个模块之间是如何整合和协调的,同时也对其整体表现起着非常关键的作用。而云,作为一个非常复杂的大型软件系统,它内部包含着许许多多的模块和组件,所以如果能够理出其架构的话,将会非常有益处。

      为了让大家对云计算有更深入的理解,本章将会对云的架构进行深入地剖析。除了云的架构之外,本章还将会对云计算最主要和最常见的四种模式进行深入的介绍。

     

       2.1 云的架构

     

      在对云计算进行了三年多的研究之后,觉得虽然云计算涉及了很多产品与技术,表面上看起来的确有点纷繁复杂,但是云计算本身还是有迹可循和有理可依的,所以在个人理解的基础上,我总结出了一套云计算的架构,具体请看图 2-1

     

     

     

      上面这个云架构共分为服务和管理这两大部分。
      在服务方面,主要以提供用户基于云的各种服务为主,共包含三个层次:其一是 Software as a Service 软件即服务,简称 SaaS ,这层的作用是将应用主要以基于 Web 的方式提供给客户;其二是 Platform as a Service 平台即服务,简称 PaaS ,这层的作用是将一个应用的开发和部署平台作为服务提供给用户;其三是 Infrastructure as a Service 基础设施即服务,简称 IaaS ,这层的作用是将各种底层的计算(比如虚拟机)和存储等资源作为服务提供给用户。从用户角度而言,这三层服务,它们之间关系是独立的,因为它们提供的服务 是完全不同的,而且面对的用户也不尽相同。但从技术角度而言,云服务这三层之间的关系并不是独立的,而是有一定依赖关系的,比如一个 SaaS 层的产品和服务不仅需要使用到 SaaS 层本身的技术,而且还依赖 PaaS 层所提供的开发和部署平台或者直接部署于 IaaS 层所提供的计算资源上,还有, PaaS 层的产品和服务也很有可能构建于 IaaS 层服务之上。

      在管理方面,主要以云的管理层为主,它的功能是确保整个云计算中心能够安全和稳定的运行,并且能够被有效地管理。

      接下来,将给大家详细介绍每个层次,其中将不仅涉及它们的历史和相关产品,而且将会讨论它们的优势和采用的技术。

      2.2 SaaS

      它是最常见的,也就是最先出现的云计算服务,通过 SaaS 这种模式,用户只要接上网络,并通过浏览器,就能直接使用在云端上运行的应用,并由 SaaS 云供应商负责维护和管理云中的软硬件设施,同时以免费或者按需使用的方式向用户收费,所以用户不需要顾虑类似安装、升级和防病毒等琐事,并且免去初期高昂 的硬件投入和软件许可证费用的支出。

      2.2.1 历史
      SaaS 的前身是 ASP ( Application Service Provider ),其概念和思想和 SaaS 相差不大。最早的 ASP 厂商有 Salesforce.com 和 Netsuite ,其后还有一批企业跟随进来,这些厂商在创业时都主要专注于在线 CRM (客户关系管理)应用,但由于那时正值互联网泡沫破裂的时候,而且当时 ASP 本身技术也并不成熟,而且还缺少定制和集成等重要功能,再加上当时欠佳的网络环境,使得 ASP 没有受到市场的热烈欢迎,从而导致大批相关厂商破产但在 2003 年后,在 Salesforce 的带领下,惨存的 ASP 企业喊出了 SaaS 这个口号,并随着技术和商业这两方面地不断成熟,使得 Salesforce 、 WebEx 和 Zoho 等国外 SaaS 企业得到了成功,而国内的,诸如用友、金算盘、金碟、阿里巴巴和八百客等企业也加入到 SaaS 的浪潮中。

      2.2.2 相关产品

      由于 SaaS 产品起步较早,而且开发成本低,所以在现在的市场上, SaaS 产品不论是在数量,还是在类别,都非常丰富,而且也出现了多款经典产品,其中最具代表性的莫过于 Google Apps 、 Salesforce CRM 、 Office Web Apps 和 Zoho :

      (1)    Google Apps :中文名为“ Google 企业应用套件”,提供包括企业版 Gmail 、 Google 日历、 Google 文档和 Google 协作平台等多个在线办公工具,而且价格低廉,使用方便,并且已经有超过两百万家企业购买了 Google Apps 服务。

      (2)    Salesforce CRM :它是一款在线客户管理工具,并在销售、市场营销、服务和合作伙伴这四个商业领域上提供完善的 IT 支持,还提供强大的定制和扩展机制,来让用户的业务更好地运行在 Salesforce 的平台上。这款产品常被业界视为 SaaS 产品的“开山之作”。

      (3)    Office Web Apps :它是微软所开发的在线版 Office ,提供基于 Office 2010 技术的简易版 Word 、 Excel 、 PowerPoint 及 OneNote 等功能,属于 Windows Live 的一部分,并与微软的 SkyDrive 云存储服务有深度地整合,而且兼容 Firefox 、 Safari 和 Chrome 等非 IE 系列浏览器。和其他在线 Office 相比,它的最大优势是,由于其本身属于 Office 2010 的一部分,所以在与 Office 文档的兼容性方面远胜其他在线 Office 服务。

      (4)    Zoho : Zoho 是 AdventNet 公司开发的一款在线办公套件,在功能方面绝对是现在业界最全面的,它包括邮件、 CRM 、项目管理、 Wiki 、在线会议、论坛和人力资源管理等几十个在线工具供用户选择。同时包括美国通用电气在内的多家大中型企业已经开始在其内部引入 Zoho 的在线服务, Zoho 在国内的代理商为百会。

      2.2.3 优势

      虽然和传统桌面软件相比,现有的 SaaS 服务在功能方面还稍逊一筹,但是在其他一些方面还是具有一定的优势,下面是其中的四个方面:

      (1)    使用简单:在任何时候或者任何地点,只要接上网络,用户就能访问这个 SaaS 服务,而且无需任何地安装、升级和维护。
      (2)    支持公开协议:现有的 SaaS 服务都在公开协议(比如 HTML4/5 )的支持方面做的很好,使得用户只需一个浏览器就能对 SaaS 应用进行使用和访问,这样对用户而言,非常方便。
      (3)    安全保障: SaaS 供应商需要提供一定的安全机制,不仅要使存储在云端的用户数据处于绝对安全的境地,而且也要通过一定的安全机制(比如 HTTPS 等)来确保与用户之间通信的安全。
      (4)    初始成本低:使用 SaaS 服务不仅无需在使用前购买昂贵的许可证,而且几乎所有的 SaaS 供应商都提供免费的试用。

      2.2.4 技术

      由于 SaaS 层离普通用户非常接近,所以在 SaaS 层所使用到的技术,大多耳熟能详,下面是其中最主要的五种:

      (1)    HTML :标准的 Web 页面技术,现在主要以 HTML4 为主,但是即将推出的 HTML5 会在很多方面推动 Web 页面的发展,比如视频和本地存储等方面。
      (2)    JavaScript :一种用于 Web 页面的动态语言,通过 JavaScript ,能够极大地丰富 Web 页面的功能,最流行的 JS 框架有 jQuery 和 Prototype 。
      (3)    CSS :主要用于控制 Web 页面的外观,而且能使页面的内容与其表现形式之间进行优雅地分离。
      (4)    Flash :业界最常用的 RIA ( Rich Internet Applications )技术,能够在现阶段提供 HTML 等技术所无法提供的基于 Web 的富应用,而且在用户体验方面,非常不错。
      (5)    Silverlight :来自业界巨擎微软的 RIA 技术,虽然其现在市场占有率稍逊于 Flash ,但由于其可以使用 C# 来进行编程,所以对开发者非常友好。

      在 SaaS 层的技术选型上,首先,由于通用性和较低的学习成本,大多数云计算产品都会比较倾向 HTML 、 JavaScript 和 CSS 这对黄金组合,但是在 HTML5 被大家广泛接受之前, RIA 技术在用户体验方面,还是具有一定的优势,所以 Flash 和 Silverlight 也将会有一定的用武之地,比如 VMware vCloud 就采用了基于 Flash 的 Flex 技术,而微软的云计算产品肯定会在今后大量使用 Silverlight 技术。

      2.3 PaaS

      通过 PaaS 这种模式,用户可以在一个提供 SDK ( Software Development Kit, 即软件开发工具包)、文档、测试环境和部署环境等在内的开发平台上非常方便地编写和部署应用,而且不论是在部署,还是在运行的时候,用户都无需为服务器、 操作系统、网络和存储等资源的运维而操心,这些繁琐的工作都由 PaaS 云供应商负责。而且 PaaS 在整合率上面非常惊人,比如一台运行 Google App Engine 的服务器能够支撑成千上万的应用,也就是说, PaaS 是非常经济的。 PaaS 主要面对的用户是开发人员。

      2.3.1 历史
      PaaS 是云服务这三层之中出现最晚的,业界第一个 PaaS 平台诞生在 2007 年,是 Salesforce 的 Force.com ,通过这个平台不仅能使用 Salesforce 提供的完善的开发工具和框架来轻松地开发应用,而且能把应用直接部署到 Salesforce 的基础设施上,从而能利用其强大的多租户系统。接着,在 2008 年四月, Google 推出了 Google App Engine ,从而将 PaaS 所支持的范围从在线商业应用扩展到普通的 Web 应用,也使得越来越多的人开始熟悉和使用功能强大的 PaaS 服务。

      2.3.2 相关产品

      和 SaaS 产品百花齐放相比, PaaS 产品主要以少而精为主,其中比较著名的产品有: Force.com 、 Google App Engine 、 Windows Azure Platform 和 Heroku 。

      (1)    Force.com :就像上面所说的 Force.com 是业界第一个 PaaS 平台,其主要通过提供完善的开发环境和强健的基础设施等来帮助企业和第三方供应商交付健壮的、可靠的和可伸缩的在线应用。还有, Force.com 本身是基于 Salesforce 著名的多租户的架构。

      (2)    Google App Engine : Google App Engine 提供 Google 的基础设施来让大家部署应用,它还提供一整套开发工具和 SDK 来加速应用的开发,并提供大量的免费额度来节省用户的开支。

      (3)    Windows Azure Platform :它是微软推出的 PaaS 产品,并运行在微软数据中心的服务器和网络基础设施上的,通过公共互联网来对外提供服务,它由具有高扩展性云操作系统、数据存储网络和相关服务组成,而且 服务都是通过物理或虚拟的 Windows Server 2008 实例提供。还有,其附带的 Windows Azure SDK (软件开发包)提供了一整套开发、部署和管理 Windows Azure 云服务所需要的工具和 API 。

      (4)    Heroku :是一个用于部署 Ruby On Rails 应用的 PaaS 平台,并且其底层基于 Amazon EC2 的 IaaS 服务,而且在 Ruby 程序员中有非常好的口碑。

      2.3.3 优势

      和现有的基于本地的开发和部署环境相比, PaaS 平台主要有下面这六方面有非常大的优势:

      (1)    友好的开发环境:通过提供 SDK 和 IDE ( Integrated Development Environment ,集成开发环境)等工具来让用户不仅能在本地方便地进行应用的开发和测试,而且能进行远程部署。
      (2)    丰富的服务: PaaS 平台会以 API 的形式将各种各样的服务提供给上层的应用。
      (3)    精细的管理和监控: PaaS 能够提供应用层的管理和监控,比如,能够观察应用运行的情况和具体数值(比如吞吐量( Throughput )和响应时间( Response Time )等)来更好地衡量应用的运行状态,还有能够通过精确计量应用使用所消耗的资源来更好地计费。
      (4)    伸缩性强: PaaS 平台会自动调整资源来帮助运行于其上的应用更好地应对突发流量。
      (5)    多住户( Multi-Tenant )机制:许多 PaaS 平台都自带多住户机制,不仅能更经济地支撑庞大的用户规模,而且能提供一定的可定制性以满足用户的特殊需求。
      (6)    整合率和经济性: PaaS 平台整合率是非常高,比如 PaaS 的代表 Google App Engine 能在一台服务器上承载成千上万的应用。

      2.3.4 技术

      在 SaaS 层所采用的技术不同的是, PaaS 层的技术比较多样性,下面是常见的五种:
      (1)    REST :通过 REST ( Representational State Transfer ,表述性状态转移)技术,能够非常方便和优雅地将中间件层所支撑的部分服务提供给调用者。
      (2)    多租户:就是能让一个单独的应用实例可以为多个组织服务,而且能保持良好的隔离性和安全性,并且通过这种技术,能有效地降低应用的购置和维护成本。
      (3)    并行处理:为了处理海量的数据,需要利用庞大的 X86 集群进行规模巨大的并行处理, Google 的 MapReduce 是这方面的代表之作。
      (4)    应用服务器:在原有的应用服务器的基础上为云计算做了一定程度的优化,比如用于 Google App Engine 的 Jetty 应用服务器。
      (5)    分布式缓存:通过分布式缓存技术,不仅能有效地降低对后台服务器的压力,而且还能加快相应的反应速度,最著名的分布式缓存例子莫过于 Memcached 。

      对于很多 PaaS 平台,比如用于部署 Ruby 应用的 Heroku 云平台,应用服务器和分布式缓存都是必备的,同时 REST 技术也常用于对外的接口,多租户技术则主要用于 SaaS 应用的后台,比如用于支撑 Salesforce 的 CRM 等应用的 Force.com 多租户内核,而并行处理技术常被作为单独的服务推出,比如 Amazon 的 Elastic MapReduce 。

      2.4 IaaS

      通过 IaaS 这种模式,用户可以从供应商那里获得他所需要的计算或者存储等资源来装载相关的应用,并只需为其所租用的那部分资源进行付费,而同时这些基础设施繁琐的管理工作则交给 IaaS 供应商来负责。

      2.4.1 历史

      和 SaaS 一样,类似 IaaS 想法其实已经出现了很久了,比如,过去的 IDC ( Internet Data Center ,互联网数据中心)和 VPS ( Virtual Private Server ,虚拟专用服务器)等,但由于技术、性能、价格和使用等方面的缺失,使得这些服务并没有得到大中型企业广泛地采用。但在 2006 年底 Amazon 发布了 EC2 ( Elastic Compute Cloud ,灵活计算云)这个 IaaS 云服务,由于 EC2 在技术和性能等多方面的优势,使得这类型的技术终于得到业界广泛地认可和接受,其中就包括部分大型企业,比如著名的纽约时报。

      2.4.2 相关产品

      最具代表性的 IaaS 产品和服务有: Amazon EC2 、 IBM Blue Cloud 、 Cisco UCS 和 Joyent 。

      (1)    Amazon EC2 : EC2 主要以提供不同规格的计算资源(也就是虚拟机)为主,并基于著名的开源虚拟化技术 Xen ,通过 Amazon 的各种优化和创新,使得 EC2 不论在性能上,还是在稳定性上,都已经满足企业级的需求,而且 Amazon EC2 还提供完善的 API 和 Web 管理界面,来方便用户的使用。
      (2)    IBM Blue Cloud :“蓝云”解决方案是由 IBM 云计算中心开发的业界第一个,同时也是在技术上比较领先的企业级云计算解决方案。该解决方案可以对企业现有的基础架构进行整合,通过虚拟化技术和自动化管 理技术,来构建企业自己的云计算中心,并实现对企业硬件资源和软件资源的统一管理、统一分配、统一部署、统一监控和统一备份,也打破了应用对资源的独占, 从而帮助企业能享受到云计算所带来的诸多优越性。
      (3)    Cisco UCS :它是下一代数据中心平台,在一个紧密结合的系统中整合了计算、网络、存储与虚拟化功能。该系统包含一个低延时无丢包万兆以太网统一网络阵列,以及多台企 业级 x86 架构刀片服务器等设备,并在一个统一的管理域中管理所有资源。用户可以通过在 UCS 上安装 VMWare vSphere 来支撑多达几千台虚拟机的运行。通过 Cisco UCS ,能够让企业快速在本地数据中心搭建基于虚拟化技术的云环境。
      (4)    Joyent :它提供基于 Open Solaris 技术的 IaaS 服务,其 IaaS 服务中最核心的,莫属 Joyent Accelecator ,它能够为 Web 应用开发人员提供基于标准的、非专有的、按需供应的虚拟化计算和存储解决方案。基于 Joyent Accelerator ,用户可以使用具备多核 CPU 、海量内存和存储的服务器设备来搭建了自己的网络服务,并提供超快的访问、处理速度和超高的可靠性。

      2.4.3 优势     IaaS 服务和传统的企业数据中心相比,在很多方面都存在一定的优势,下面是最明显的五个。
      (1)    免维护:主要的维护工作都有 IaaS 云供应商负责,所以不必用户操心。
      (2)    非常经济:首先免去了用户前期的硬件购置成本,而且由于 IaaS 云大都采用虚拟化技术,所以在应用和服务器的整合率普遍在 10 以上,这样能有效降低使用成本。
      (3)    开放标准:虽然很多 IaaS 平台都存在一定的私有功能,但是由于 OVF 等应用发布协议的诞生,使得 IaaS 在跨平台方面稳步前进,从而使得应用能在多个 IaaS 云上灵活的迁移,而不会被固定在某个企业数据中心内。
      (4)    支持的应用:因为 IaaS 主要是提供虚拟机,而且普通的虚拟机能支持多种操作系统,所以 IaaS 所支持应用的范围是非常广泛的。
      (5)    伸缩性强: IaaS 云只需几分钟就能提供用户一个新的计算资源,而传统的企业数据中心则往往需要几周时间,并且计算资源可以根据用户需求来调整其资源的大小。

      2.4.4 技术

      在 IaaS 所采用的技术方面,都是一些比较底层的技术,其中有四种技术是比较常用的:
      (1)    虚拟化:也可以理解它为基础设施层的“多租户”,因为通过虚拟化技术,能够在一个物理服务器上生成多个虚拟机,并且能在这些虚拟机之间能实现全面的隔离, 这样不仅能减低服务器的购置成本,而且还能同时降低服务器的运维成本,成熟的 X86 虚拟化技术有 VMware 的 ESX 和开源的 Xen 。
      (2)    分布式存储:为了承载海量的数据,同时也要保证这些数据的可管理性,所以需要一整套分布式的存储系统,在这方面, Google 的 GFS 是典范之作。
      (3)    关系型数据库:基本是在原有的关系型数据库的基础上做了扩展和管理等方面的优化,使其在云中更适应。

      (4)    NoSQL :为了满足一些关系数据库所无法满足的目标,比如支撑海量的数据等,一些公司特地设计一批不是基于关系模型的数据库,比如 Google 的 BigTable 和 Facebook 的 Cassandra 等。

      现在大多数的 IaaS 服务都是基于 Xen 的,比如 Amazon 的 EC2 等,但 VMware 也推出了基于 ESX 技术的 vCloud ,同时业界也有几个基于关系型数据库的云服务,比如 Amazon 的 RDS ( Relational Database Service ,关系型数据库服务)和 Windows Azure SDS ( SQL Data Services , SQL 数据库服务)等。关于分布式存储和 NoSQL ,它们已经被广泛用于云平台的后端,比如 Google App Engine 的 Datastore 就是基于 BigTable 和 GFS 这两个技术之上的,而 Amazon 则推出基于 NoSQL 技术的 Simple DB 。

    转载于:https://www.cnblogs.com/skyofbitbit/p/3645264.html

    展开全文
  • 展开说明云计算的各类技术。基础技术包括网络技术、数据中心技术、虚拟化技术、Web技术、多租户技术;云安全的基础技术包括身份认证与访问管理、数据加密与隐私保护、虚拟化安全。 云计算技术特征包括按需自助服务...
  • 精品云计算第三版全套课程PPT学习课件,非常适合学生和职场人士学习,也适合老鸟复习回顾,完全可用于自学入门,很经典好用的PPT课件哦~ 第1章 大数据与云计算第三版 第2章 Google云计算第三版原理与应用(一) 第...
  • 精品云计算第三版全套课程PPT学习课件,非常适合学生和职场人士学习,也适合老鸟复习回顾,完全可用于自学入门,很经典好用的PPT课件哦~ 第1章 大数据与云计算第三版 第2章 Google云计算第三版原理与应用(一) 第...
  • 对于物联网的产业链,具体可细分为标识、感知、信息传送和数据处理这4个环节,其中包括的核心技术主要有射频识别技术,传感技术,网络通信技术、嵌入式系统技术和云计算项,以下分别对这项物联网核心技术逐一...
  • 精品云计算第三版全套课程PPT学习课件,非常适合学生和职场人士学习,也适合老鸟复习回顾,完全可用于自学入门,很经典好用的PPT课件哦~ 第1章 大数据与云计算第三版 第2章 Google云计算第三版原理与应用(一) 第...
  • 云计算及其支撑技术简介

    千次阅读 2021-06-07 14:44:41
    云计算及其支撑技术简介1 云计算概述1.1 云计算定义与关键特征1.2 云服务的类别1.3 典型的云服务部署方式2 云计算支撑技术2.1 系统虚拟化2.2 虚拟化资源管理器2.3 分布式数据存储2.4 并行计算模式2.5 用户交互技术...
  • 精品云计算第三版全套课程PPT学习课件,非常适合学生和职场人士学习,也适合老鸟复习回顾,完全可用于自学入门,很经典好用的PPT课件哦~ 第1章 大数据与云计算第三版 第2章 Google云计算第三版原理与应用(一) 第...
  • 云计算与大数据技术应用

    千次阅读 2022-01-10 14:43:54
    什么是云计算 云计算的定义 PC时代以前,计算机用户主要通过终端分享主机(可以理解为服务器)的计算和存储,获得有限的服务。这样的模式就好比一个家庭里有许多孩子,每一笔零花钱都要朝父母要,用多少要多少。家里...
  • 对于物联网的产业链,具体可细分为标识、感知、信息传送和数据处理这4个环节,其中包括的核心技术主要有射频识别技术,传感技术,网络通信技术、嵌入式系统技术和云计算项,以下分别对这项物联网核心技术逐一...
  • 原标题:三分钟为你详细解析云计算技术与应用云计算是继1980年代大型计算机到客户端-服务器的转变之后的又一种巨变。云计算是分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡、热备份冗余等传统...
  • 精品云计算第三版全套课程PPT学习课件,非常适合学生和职场人士学习,也适合老鸟复习回顾,完全可用于自学入门,很经典好用的PPT课件哦~ 第1章 大数据与云计算第三版 第2章 Google云计算第三版原理与应用(一) 第...
  • 对于物联网的产业链,具体可细分为标识、感知、信息传送和数据处理这4个环节,其中包括的核心技术主要有射频识别技术,传感技术,网络通信技术、嵌入式系统技术和云计算项,以下分别对这项物联网核心技术逐一...
  • (40) 揭开Google数据中心五大神话. http://server.51cto.com/NGDC-197298.htm (41) 俄勒冈州的Google数据中心耗电惊人. http://tech.watchstor.com/storage-systems-112892.htm (42) Google App Engine ...
  • 云计算与大数据技术应用》

    千次阅读 2022-01-13 11:14:08
    《第一章》云计算概述 1.1什么是云计算? 1.1.1云计算的定义 云计算是分布式计算的一种,指的是通过网络“云”将巨大的数据计算处理程序...通过这项技术,可以在很短的时间内(几秒钟)完成对数以万计的数据的处理...
  • 精品云计算第三版全套课程PPT学习课件,非常适合学生和职场人士学习,也适合老鸟复习回顾,完全可用于自学入门,很经典好用的PPT课件哦~ 第1章 大数据与云计算第三版 第2章 Google云计算第三版原理与应用(一) 第...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 38,637
精华内容 15,454
热门标签
关键字:

云计算的五大核心技术