精华内容
下载资源
问答
  • 云计算应用案例
    千次阅读
    2017-08-02 11:56:00

    云计算(cloudcomputing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。今天我们用云计算行业最主要的三个词:saas、paas、iaas来浅析一下什么是云计算。

    saas 是云计算的最上层,简单来说,就是你住五楼,我住六楼,我是你的“上层”的意思。它是一种基于平台上的具体应用,ssss层是距离用户最近的那一层。任何一个远程服务器上的应用都可以通过网络来运行,就是saas了。你消费的服务完全是从网页如 netflix,mog,googleapps,box.net,dropbox或者苹果的icloud那里进入这些分类。尽管这些网页服务是用作商务和娱乐或者两者都有,但这也算是云技术的一部分。

    例如多备份就是让用户可以通过一个简单应用直接在云端进行数据的管理和保护,同时,用户还可以依据多备份实现多个云之间的数据互通,比如,你如果想把阿里云的数据备份到百度云,需要做的就是先把阿里云的数据从云端拿下来然后再上传。如果使用多备份的话,就可以省去将数据下载到本地的这一步骤。这里的ssss甚至可以定义为一种软件,所以才会有 “软件即服务”的说法。

    所谓paas实际上是指将软件研发的平台作为一种服务,提供给用户。用户或者企业基于paas平台可以快速开发自己所需要的应用和产品。人们对paas的理解不尽相同。netflix展现了一种不同于通常人们所理解的paas。netflix是构建在aws上的最大service,其使用的ec2实例数在10k数量级。我们一般认为:saas的目标用户是最终用户;paas的目标用户是开发者;iaas的目标用户是itops。

    但问题是对于很多应用,特别是复杂应用,传统意义上的paas根本无法满足需求。例如,可以在cloudfoundry平台上运行一个cloudfoundry吗?显然是不行的。对于复杂的、大规模的应用,开发人员需要拥有对整个full-stack的控制。对于开发者而言,构建介于cloud-nativeapp和 infra之间的paas能力层有多种选择。

    iaas(infrastructureasaservice),指基础设施即服务,消费者通过internet可以从完善的计算机基础设施获得服务。iaas的真正价值不在于自动化编排和管理数据中心物理资源,而是彻底改变上层平台和应用使用it资源的方式。近年来,国内公有iaas“服务”如雨后春笋一般大量出现。但除了阿里云提供了ecsapi外,在其他厂商云服务主页上却看不到类似awsec2api的开放api。如果在没有开放api的情况下,就发布iaas“服务”,那么说明api在产品优先级中处于很低的位置。

    所谓云存储就是将网络中大量各类不同类型的存储设备通过应用软件结合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统,说得直白一点就是按需分配。当然在具体的实现过程中绝对不会像说得那么简单。说白了一点这种iaas 是云的制造者。基于internet的服务(如存储和数据库)是iaas的一部分。internet上其他类型的服务包括平台即服务 (platformasaservice,paas)和软件即服务(softwareasaservice,saas)。paas提供了用户可以访问的完整或部分的应用程序开发,saas则提供了完整的可直接使用的应用程序,比如通过internet管理企业资源。

    saas、paas、iaas云计算的三层结构,但是三者之间并没有也不需要非常明确的划分。saas、paas、iaas都试图去解决同一个商业问题——用尽可能少甚至是为零的资本支出,获得功能、扩展能力、服务和商业价值。


    本文作者:朱剑峰

    来源:51CTO

    更多相关内容
  • VMware虚拟化与云计算应用案例详解
  • 客户解决方案案例研究 客户解决方案案例研究 微软助力京沪高铁打造可持续扩展的信息化服 微软助力京沪高铁打造可持续扩展的信息化服 务平台 务平台 概况 概况 目前 京沪高铁的关键旅客服务系统 如显示系统广播系统...
  • VMware虚拟化与云计算应用案例详解(第2版)
  • VMware虚拟化与云计算应用案例详解(第2版)
  • VMware虚拟化与云计算应用案例详解
  • 一个最简单的理解就是:作为共享时代的产物,云计算其实就跟电网供电一样,在什么电器需要供电的时候,就会消耗电能,如果不需要的话,就可以暂时待机。在电网出现之前,电从发电机而来,但单个发电机所提供的电能是...

    一个最简单的理解就是:

    作为共享时代的产物,云计算其实就跟电网供电一样,在什么电器需要供电的时候,就会消耗电能,如果不需要的话,就可以暂时待机。

    在电网出现之前,电从发电机而来,但单个发电机所提供的电能是有限的,当用电需求超出自家这台的发电机的负荷,那就凉凉。当然也别想着买上千台发电机供电,放上千台发电机的地方有吗?买那么多发电机的钱有吗?管理、保养、维修发电机的人工和技术都有吗?

    因此为了更低更快更好的满足家家户户的用电需求,共享电力资源、按需付费的电网就出现了。

    云计算也是同样,手机和电脑等计算设备都是一台单独的“发电机”,随着社会发展,人们产生的数据越来越多,一台设备不足以应对海量数据的处理需求。但让每个人都自己配上大量的电脑、手机,显然不合理,因此大家寻求“共享计算资源、按需付费”的方式。

    由此,云计算应运而生。云计算和电网比,只不过是发电机变成了服务器,电网变成了云服务,供电所变成了阿里云、IBM、亚马逊等云服务商。

    可以说,云计算是大势所趋,它让计算资源的利用率进一步提高,是更高级的信息化。

    现如今,云计算有三种服务模式

    • Iaas:提供基础设施服务
    • Paas:提供平台服务
    • SaaS:提供软件服务

    对于IaaS/PaaS/SaaS的区别,可以用【吃烤肉】来理解:

    吃烤肉需要准备好五花肉、蔬菜、调味酱等等食材,还要准备好煤气、烤炉等厨具,还要餐桌与餐具。切好的五花肉煎至两面金黄即可食用。在这个过程中,所有东西都是自己准备,就叫做“本地部署”。

    如果觉得麻烦,直接去自助烤肉店,用那里提供的餐具、厨具、食材,吭哧吭哧烤完吃掉。这被称为“提供基础设施服务(IaaS)”,没地方、没设备、有时间,需要借地方、设备,自己烤。

    但还是感到有些麻烦,那么可以直接打个电话,叫烤肉店直接把烤好的肉送过来,你只需要准备餐桌。这就叫做“提供平台服务(PaaS)”,有地方、没设备、没时间,需要送来烤好的肉。

    如果什么都不想准备,甚至连桌子都懒得整理的话,就直接去烤肉店吃,在那里什么都已经准备好了。这就是“提供软件及服务(SaaS)”,没地方、没设备、没时间,需要借地方、设备、还要别人帮忙烤肉。

    国内云计算技术格局

    再说说,为什么政府那么鼓励企业上云?

    广东发布了最高补贴50万的企业上云政策:

    为了到2020年,支持1万家工业企业“上云上平台”,围绕研发设计、生产管控、经营管理、售后服务等核心业务环节,利用工业互联网新技术、新工具、新模式,实施数字化转型升级,进一步降低经营成本、提升生产效率、提高产品质量、降低能耗排放、优化产业协同……

    部分补贴目录

    从目前可监测的数据来看,企业上云的好处较为明显的有三点:

    • 控制金钱成本

    以制造业的上海通用五菱(重庆)为例。

    作为国内知名汽车厂商,上海通用五菱(SGMW)推进“新四化”战略。重庆分公司的采购物流部门作为典型代表,在推进上云的1年时间内,节约成本如图:

    上图皆为SGMW(重庆)提供

    注:图中的简道云是以阿里云为依托的sSaaS服务软件

    经最终核算:单部门节约成本超15万元。

    • 控制人力成本

    以科研行业的中铁大桥科研院为例。

    桥科院长期受到“excel辗转备份数据”的困扰,尽管已经有自研的信息平台,但多数项目数据习惯于纸质管理。

    后来选择上云,通过API+信息平台,一方面,在手机上即可录入、提交数据,自动导入进平台,数据处理效率有效提升,轻松完成了项目、收入支出合同、招投标及报表等管理;另一方面,通过API+webhook,数据再也不需导出excel进行备份,成功实现了自动备份,免去人工成本的投入。

    利用API将简道云接入数据库,自动备份数据

    再以制造行业的史丹利百得(深圳)为例。

    由于生产业务的复杂性,需要考量生产数、考勤、FSA退货次数等11种因素,使得每月的KPI计算需要耗费大量时间。

    因此,史丹利在数据工厂内设计计算规则,让每月的生产、考勤、退货、6S等节点数据在数据工厂内自动整合计算,计算结果在仪表盘内实时更新、以供成员查看。

    这一操作大大提高了管理效率,将人力从数据堆中解放出来。

    数据工厂快速计算,在仪表盘自动更新展示

    注:数据工厂、仪表盘为简道云内功能。

    • 控制时间成本

    以建筑行业的广东鸿安达为例。

    每一个建筑行业从业人员基本都知道投标,但投标之前,是否要参投?如何报价?这些信息都要一一过相关负责人。 投标项目众多,不仅业务人员为此跑断腿,领导想看进度也不能及时看到。

    鸿安达上云后,立即设计了投标管理应用,串联投标管理的负责人,任务流转到谁、手机提醒谁处理,直接缩短了业务流程耗费的时间。

    本文涉及到的数字化搭建工具:零代码应用搭建平台—简道云

    展开全文
  • 云计算典型应用案例

    2015-09-22 16:41:39
    以国内著名软件公司典型云计算实践为例,分析云计算在智能导航,LBS服务(Location Based Service)等方面的应用
  • 新浪云计算案例实践

    2015-12-08 17:12:09
    新浪云计算案例实践,新浪SAE云计算发展历程,以及在其生态圈中的案例应用
  • 云计算典型应用案例.ppt该文档详细且完整,值得借鉴下载使用,欢迎下载使用,有问题可以第一时间联系作者~
  • 信息系统工程 2012.8.20 101 TECHNOLOGY 技术应用 一、旅游业的发展及对信息化的需求 近年来,我国旅游业总体保持较快增长,旅游总收 入实现较大幅度增长。其中,国内旅游市场持续快速增 长,入境旅游市场平稳发展,...
  • 精品文档可编辑 值得下载 云计算应用时代开启及案例分析 摘 要云计算以其按需自助快速伸缩可计量资源共享宽带接入虚拟化服务一站式集成的特性从而部署方便运营省心处理快速资源丰富使用安全成本节约满足不同个体用户...
  • 云计算在中国电信实际工作中的应用案例分析.pdf
  • 云计算技术的应用案例分析 众所周知云计算被视为科技界的下一次革命它将带来工作方式和商业模式的根本改 变。2006年谷歌推出了"Google 101计划" 并正式提出"云"的概念和理论。随后亚马逊、 微软、惠普、雅虎、英特尔...
  • 客户成功案例—瑞士瑞信银行云平台 客户概况 成立于1856年,总部设在瑞士苏黎世,是全球第五大财团,瑞士第二大的银行 是一家经营个人、公司金融服务、银行产品及退休金、保险服务的投资银行和金融服务公司 在五十多...
  • 气象行业云计算成功案例分享 vmware 气象行业背景介绍 vmware 气象行业背景 中国气象局是中华人民共和国国务院直属事业单位,主要承担全国气象工 作的政府行政管理职能,负责全国气象工作的组织管理全国气象部门实 行...
  • 这是云计算知识的入门篇。是视频讲解的,生动有趣。入门不需要门槛,只要有基本的计算机操作技能和网络基础知识就可以学习。
  • IT的基础模式从20世纪60年代的“主机–终端”,90年代的“客户机–服务器”,演变至今天的“移动–云计算”,其动因我想无外乎是技术创新与商业驱动的合力所致。“云”模式为提高数据中心的运营效率,支撑爆发式的...
  • 云计算技术在军工企业的应用.pdf
  • 由梅峰谷云计算小组整理的PaaS相关资料,目前已经上传到百度云盘和群里,有需要的朋友请入群下,信息爆炸的时代,PaaS资料多但是优质的却有限,云小组从中选取了一些经典有用的汇编成册,仅供参考。
    

    由梅峰谷云计算小组整理的PaaS相关资料,目前已经上传到百度云盘和群里,有需要的朋友请入群下,信息爆炸的时代,PaaS资料多但是优质的却有限,云小组从中选取了一些经典有用的汇编成册,仅供参考。

    百度云下载链接:http://pan.baidu.com/s/1qYC2TmW

    如果链接被屏蔽,也可以加入QQ群:233864572,资料里面都有

    本资料素材都来源于互联网,有梅峰谷整理和精简,具体单篇原创归属原创作者,下篇或者更多资料请扫描上面的二维码

    ---------------

    第一章 中国移动网状网PaaS之路

    1.建设说明

    1.1 建设背景

    1.2.试点系统选择

    2. PaaS技术选型

    2.1. Kubernetes

    2.2. Mesos

    2.3. 产品对比

    3. PAAS平台解决方案

    3.1. 技术架构

    3.2. 功能框架

    3.3 技术方案亮点

    4. PAAS应用效果

    4.1. 集群规模

    4.2. 应用效果

    5.下一步计划

    第二章 中国公有云计算产品线

    1.愿景

    2.洞察

    2.1 产品竞争

    2.2运营竞争

    2.3客户竞争

    3.云商

    3.1 阿里云

    3.2 腾讯云

    3.3 百度开放云

    3.4 华为云

    3.5 网易云

    3.6 新浪云

    3.7 乐视云

    3.8 360云

    3.9 京东云

    3.10 美团云

    3.11金山云

    第三章 中联通CU-DC/OS

    1.研究背景

    2.CU-DCOS发展

    3.CU-DCOS技术创新

    3.1创新的独立式技术架构

    3.2资源的统一管理

    3.3创新的大数据服务

    3.4 持续集成/持续交付能力

    3.5 统一服务网关

    3.6 多实例持久化存储

    4.落地应用

    4.1公共创新大数据能力开放平台

    4.2联通PaaS平台的基础架构

    4.3 联通牛人部落实验室的基础架构

    第四章 开源PaaS初探

    1 PaaS平台概述

    2.主流的开源PaaS平台

    2.1 Cloud Foundry

    2.2 Cloudify

    2.3 Docker

    2.4 小结

    3 开源PaaS发展趋势

    3.1轻量化

    3.2 服务外化

    3.3大数据分析

    4.结束语

    第五章 传统企业PaaS上云思考(荐)

    1.背景说明

    2.传统架构与应用分类

    2.1 经典架构

    2.2 OLAP与OLTP

    3.云化需求与分析

    3.1 OLTP类应用云化的要求

    3.2 OLAP型应用云化的需求

    4.基于容器的PaaS平台架构构建

    5.PaaS平台问题及上云注意点

    5.1 资源调度问题

    5.2多租户的问题

    6. 问答环节

    第六章 Pivotal云原生应用和PaaS

    1.Pivotal的探索

    1.1 pivotal介绍

    1.2 pivotal大牛

    2.云原生架构与应用

    2.1 云原生架构

    2.2云原生应用特征

    3.PaaS的业务驱动力   

    4.PaaS的架构模型与业务价值 

    5.微服务监控链—Spring Zipkin

    第七章 基于k8s的PaaS平台设计和思考

    1.PaaS平台的意义

    2. 为什么选择Kubernetes

    2.1 主流容器框架

    2.2 容器设计理念

    3.PaaS平台上的微服务架构应用

    4. PaaS平台架构设计

    4.1平台建设原则

    4.2平台关键能力说明

    4.3 PaaS平台功能组件

    第八章 容器驱动的PaaS平台实现(荐) 

    1.基于容器的PaaS是趋势

    2.企业选择PaaS的关注点

    2.1某世界500强保险集团

    2.2某全国性股份制商业银行

    2.3某通讯解决方案提供商

    2.4某省科技厅医疗大数据项目

    3.PaaS平台选型要素

    4.CaaS构建:引擎还是汽车

    5.容器服务CaaS框架示例

    6.企业对容器诉求

    6.1 对网络诉求

    6.2对存储诉求

    7. PaaS应用举例

    7.1 基于Weblogic应用

    7.2 基于Mysql高可用数据服务

    8.容器的日志和告警

    9.容器的安全问题

    第九章 YY互娱私有PaaS 平台实践

    1.运维价值体系

    2.运维平台化方式

    2.1面向流程

    2.2面向服务

    2.3.拿来主义

    3.YY互娱PaaS 运维平台实践

    3.1 业务场景

    3.2平台理念

    3.3 实践历程

    4.YY互娱PaaS 运维平台未来规化

    第十章 PaaS 关键技术点和难点

    1.PaaS建设的意义何在

    2.PaaS的主要技术有哪些

    3.容器云的负载均衡如何选择

    4. PaaS的日志和监控如何进行处理

    5. PaaS如何更好的实现CI/CD

    6. PaaS键技术点和难点

    第十一章 唯品会轻量级PaaS平台 

    1.唯品会现状

    2.唯品会PaaS构建流程

    3.唯品会PaaS功能点

    4.PaaS网络方案和定制

    5.日志收集和监控

    6.唯品会PaaS监控

    7.问题总结

    第十二章 运营商上PaaS遇到的问题

    1.运营商IT系统现状

    2.IT系统集中一体化问题

    3.硬件资源整合

    3.1 IaaS层面的硬件资源整合

    3.2 PaaS层面的硬件资源整合

    4.关系型数据库扩展性问题

    5.构建跨域的PaaS平台

    6.能力开放

    7.总结语



    展开全文
  • 云计算在下一代数据中心建设中的应用案例解析——中国移动云
  • IBM 云计算产品 云计算解决方案 云计算产品 IBM在虚拟化和云计算方面拥有众多产品包括基础设施层平台层和应用层 IBM Ensembles 将计算存储网络等物理资源虚拟成基础设施资源池隐藏了内部实现细节向上层提供资源访问...
  • 基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考
  • 大数据与云计算应用

    千次阅读 2022-01-11 11:29:02
    按需使用IT资源和应用程序,通过互联网,按使用量付费。 美国联邦云计算战略报告中,定义了四种云 公有云:提供公共的IT资源 缺点:保密性较低 私有云:提供给政府、学校等机构 优点:保密性高 社会云:提供给...

    第一章 云计算概述

    什么是云计算

    就像生活中的水、电、煤等利用着的IT资源都无时无刻的按人们自己的需求使用

    而水、电、煤,这些呢是属于资源性产品                 IT资源就是计算存储网络资源

    云计算的定义

    按需使用IT资源和应用程序,通过互联网,按使用量付费。

    美国联邦云计算战略报告中,定义了四种云

    1. 公有云:提供公共的IT资源

    缺点:保密性较低

    1. 私有云:提供给政府、学校等机构

    优点:保密性高

    1. 社会云:提供给研究人员使用
    2. 混合云:包含以上任意两种云

    生活中的例子

    1. 出行论

    买车——公有云

    开车——私有云

    自己买车,开车——混合云

    1. 酒店论

    酒店——公有云

    家——私有云

    云计算的概念模型

           从以上云计算的概念可知,云计算的实质是网络下的应用,其业务实现的概念模型,云计算包含了多层含义。

          1)用户的公共性。云计算面向各类用户,包括企业、政府部门、学术机构、个人等用户,也包括应用软件、中间件平台等“用户”。中间件是一种独立的系统软件或服务程序,分布式应用软件借助这种软件在不同的技术之间共享资源。中间件位于客户机/服务器的操作系统之上,管理计算机资源和网络通信,它是连接两个独立应用程序或独立系统的软件。

            2)设备的多样性。云计算用于提供服务的设备是多样的,既包括各种规模的服务器、主机、存储设备,也包括各种类型的终端设备,如计算机、智能手机、各种智能传感器、RFID(Radio Frequency Identification,射频识别。它是一种通信技术,可通过无线电信号识别特定目标并读写相关数据,而无须在识别系统与特定目标之间建立机械或光学接触) 设备等。

           3)商业模式的服务性。云计算的服务特性体现在两个方面:简化和标准的服务接口、按需计费的商业模式。

           4)提供方式的灵活性。云计算既可以作为一种公用设施,提供社会服务,即“公有云”,也可以作为企业信息化的集中计算平台来提供,即“私有云”。

    云计算的基本特征

    1. 资源无限量供应
    2. 提供自助式服务
    3. 远程提供服务
    4. 资源可控
    5. 按使用量付费

    云计算的发展背景

    1. 20世纪60年代:计算机革命
    2. 20世纪90年代:互联网革命

    1994年:Web 1.0(单向传递)

    2004年:Web 2.0(双向传递)

    1. 2010年:移动互联网革命

     1983年提出“云计算”名词

     2006年提出云计算概念及基础架构

     2008年,进入中国

     2009年,首届云计算大会在中国召开

     2012年,中国提出定义

    典型的云计算基础架构

           了解了云计算技术的概念和发展背景之后,在此以Google的云计算架构为例介绍典型的云计算基础架构。

           Google的云计算技术实际上是针对Google最重要的搜索应用而开发的。针对内部网络数据规模超大的特点,Google提出了一整套基于分布式的并行集群基础架构,并且Google的数据中心采用廉价的Linux PC机组成集群,利用软件来处理集群中经常发生的结点失效问题,从而形成了Google的云计算基础架构。

             Google的云计算基础架构包括三个相互独立又紧密结合在一起的系统:GFS分布式文件系统、针对Google应用程序的特点提出的MapReduce编程模型和大规模分布式数据库Big Table,如下图所示。

    Google云计算架构

    MapReduce API

    Big Table分布式数据库

    GFS分布式文件系统

           1) GFS是建立在集群之上的分布式文件系统,Google为了满足其迅速增长的数据处理需求,对文件系统进行了特别优化,解决了包括超大文件的访问、读操作比例远超过写操作和集群中的结点极易发生故障造成结点失效等问题(GFS默认把超大文件分成64MB的块,分布在集群的机器上,使用Linux的文件系统存放,同时每块文件至少有3份以上的冗余,从而解决结点失效问题)。

    2) MapReduce是分布式并行编程模型。Google构造MapReduce并行编程模型来简化分布式系统的编程,用户只需要提供自己的Map函数以及Reduce函数,就可以在集群上进行大规模的分布式并行数据处理。Map(映射)是把输入Input分解成中间的Key/Value键值对,Reduce(化简)把Key/Value键值对合成最终的输出Output。这两个函数由开发者提供给系统,Map和Reduce操作分布在集群上运行,并把结果存储在GFS上。

           3) Big Table是分布式大规模数据库管理系统,由于Google应用程序需要处理大量的半结构化数据,Google构建了弱一致性要求的大规模数据库系统BigTable。它是稀疏的、分布式的、持久化的、多维排序的,并以Key/Value键值对形式存储的数据模型。BigTable不是关系型数据库,像它的名字一样,就是一个巨大的表格,用来存储半结构化数据。

           以上是Google内部云计算架构的三个主要部分,除了这三个部分之外,Google还构建了其他云计算组件,包括领域描述语言、分布式程序调度器,分布式锁服务Chubby机制等。

    云计算模式下的IT建设

    特点:

    • 开放硬件平台,软件与硬件解耦
    • 分布式设计,软件定义储存
    • IT建设的传统IOE架构,转向互联网架构
    • 集中资源池的共享,虚拟化分时共享
    • 动态调配、弹性伸缩、低成本、标准化硬件
    • 芯片新介质取得突破(云计算IT的基础)

    优点 :省事、省力、省钱、省电、省人、省地

    云计算的特点:

    1. 虚拟化技术
    2. 动态可拓展性
    3. 按需部署
    4. 灵活性高
    5. 可靠性高
    6. 性价比高
    7. 地理分布
    8. 先进安全技术

    云计算的主要服务模式

            根据现在最常用、也是比较权威的NIST及维基百科的定义,云计算从用户体验的角度主要分为三种服务模式:基础设施即服务(Infrastructure as a Service, IaaS)、平台即服务(Platform as a Service,PaaS)、软件即服务(Software as a Service,SaaS)。SaaS侧重于软件服务,通过网络提供软件程序服务;PaaS侧重于平台服务,以服务平台或者开发环境提供服务;IaaS侧重于硬件资源服务,注重于计算资源的共享,消费者通过互联网可以从完善的计算机基础设施获得服务。

    • IaaS(基础设施即服务)

    适用对象:租用

    关键技术:虚拟化技术

    • PaaS(平台即服务)

    适用对象:编程

    应用:数据库服务、Web应用

    特点:

    1. 简化开发人员
    2. 提供PC端或软件端的开发套件
    3. 丰富的开发环境
    4. 完全可托管的数据库服务
    5. 可配置式的应用程序的构建
    6. 支持多语言的开发
    7. 面向市场

    关键技术:

    1. 分布式并计算
    2. 分布式存储

    • SaaS(软件即服务)

    适用对象:用户

    关键技术:多租户技术

    三种服务的区别

    1. IaaS        最底层
      • 提供基础设施服务

        PaaS    提供软件

        部署平台

        SaaS     拿来即用

        例:云计算服务=做饭做菜

        云计算服务提供商=饭店

        IaaS=提供厨房、锅具等

        不提供:食材和技术

        PaaS=提供厨房和切好的食材

        不提供:技术

        SaaS=提供厨房、食材、技术

    第二章 大数据技术概述

    大数据技术的产生

    海量数据的产生:

    1. 来自大人群互联网
    2. 来自大量传感器机械
    3. 科学研究及行业多结构专业数据

    大数据的基本概念

           大数据的定义:无法在一定时间内用常规软件工具对其内容进行抓捕、管理和处理的数据集合

    经典案例:啤酒与尿布、谷歌与流感。

            大数据的范围:采集、存储、搜索、共享、传输、分析和可视化

     大数据产生的原因

    (1)信息技术的飞速发展,是大数据产品的技术基础

           在互联网技术的技术上,产生物联网技术、无线互联技术、无线传感技术不断推行了物联网、移动互联网和传感器网络的飞速发展,各个网络都在持续不断的产生和传播数据。另外数据抓取技术可以使人们方便地获取数据;并行处理技术的发展,极大地提升了海量数据的处理能力和处理效率;容量、高可靠的存储技术,可以让人们更多、更快地存取数据。

    (2)数据产生方式的多元化,是大数据产生的数据基础

            全世界网民成为数据的生产者,每一个网民就是一个信息系统不断地制造数据。

    (3)企业思维转变,是大数据产生的内在动力

            企业开始注重于企业内外部数据挖掘,在海量的数据中搜索出隐藏的规律和价值,从而为决策者提供更好的参考。大数据时代的到来,人类对于数据的搜索和利用能力得到了巨大的提升,主要表现在企业大数据的挖掘上。

    大数据概念的提出

     1887-1890年:电功器

     1944年:预见大数据

     1997年:用大数据描述超级计算机产生的大量信息

     2003-2006年:谷歌提出大数据可重用方案

     2008年:提出大数据概念

     2009年:大数据逐渐走进互联网

     2012年:大数据成为一种新的资产类别

     2013年:大数据元年

    第四范式——大数据对科学产生的影响

    第一范式:实验

    第二范式:理论

    第三范式:计算

    第四范式:数据

    大数据的4V特征

    一、大量化

    1. 存储量大
    2. 增量大

    二、多样化

    1.来源多

          1)搜索引擎

          2)社交网络

    2.格式多

          1)结构化数据

          2)非结构化数据

    三、快速化

    四、价值密度低

    企业推动大数据行业发展

    • 腾讯
    • 华为
    • 谷歌
    • 阿里
    • 数据库
    • ETC

    大数据的关键技术

    一、大数据预处理技术

    1.数据采集

    2.数据存储

    3.基础架构支持

    4.计算结果展示

    二、大数据存储技术

    1.存储设备能持久可靠的存储数据

    2.提供可伸缩接口

    3.提供高效查询、更新等操作

    三、大数据分析技术

    1.数据处理

    2.统计和分析

    3.数据挖掘

    4.模型预测

    四、大数据计算技术

    典型的大数据计算架构

    1)Hadoop——处理本地数据

    2)Spark——收集并更新

    3)Storm——延迟毫秒级

    第三章 虚拟化技术

    虚拟化技术

            虚拟化技术其实很早以前就已经出现了,虚拟化的概念也不是最近几年才提出来的。虚拟化技术最早出现于20世纪60年代,那时候的大型计算机已经支持多操作系统同时运行,并且相互独立。如今的虚拟化技术不再是仅仅只支持多个操作系统同时运行这样单一的功能了,它能够帮助用户节省成本,同时提高软硬件开发效率,为用户的使用提供更多的便利。尤其近年来,虚拟化技术在云计算与大数据方向上的应用更加广泛。虚拟化技术有很多分类,针对用户不同的需求涌现出了不同的虚拟化技术与方案,如网络虚拟化、服务器虚拟化、操作系统虚拟化等,这些不同的虚拟化技术为用户很好地解决了实际需求。

    虚拟化技术的概念

            虚拟化技术作为一种计算机资源管理技术,将各种的IT实体资源抽象转化为另一种形式的技术。

    虚拟化技术的分类

          1.寄居虚拟化:在主操作系统上安装和运行的一个程序。例:操作系统:VMware、Workstation等。

    CPU、内存、显卡等

     应用

    应用

    客户操作系统

    虚拟化层

    主操作系统

    特点:

    1)简单易于实现

    2)安装和运行应用程序时,依赖于主操作系统对设备的支持

    3)有两层OS,管理开销大,性能损耗大

    4)虚拟机对各种物理主机的调用都是通过虚拟化层和宿主OS一起调用完成

               2.裸金属虚拟化:在硬件上部署虚拟化层。例:操作系统:VMware、ESX、Xen等。

    应用

    应用

    客户操作系统

    客户操作系统

    虚拟化层

    CPU、内存、显卡等

    特点:

    1)不依赖于操作系统

    2)支持多操作系统

    3)依赖虚拟层内核和服务控制台进行管理

    4)需要对虚拟层进行内核开发

              3.混合虚拟化:插入内核模块。例:操作系统:KVM。

    应用

    应用

    应用

    CPU、内存、显卡等

    Host OS

    Host OS

    Host OS

    宿主操作系统  内核(虚拟硬件管理)

    特点:

    1.相对于寄居虚拟化性能高

    2.相对于裸金属虚拟化不需要内核开发

    3.支持多种操作系统

    4.需要底层硬件支持虚拟扩展功能

    虚拟化层架构

            从虚拟化的程度来看,服务器虚拟化还可分为:全虚拟化(KVM),半虚拟化(Xen)和硬件辅助虚拟化。

             1.全虚拟化:即所抽象的KVM具有完全的物理特性,虚拟化层负责捕获CPU指令,为指令访问硬件充当媒介。

    Linux OS  VM1

    Windows OS  VM2

    Linux OS (KVM)

    CPU、显卡、内存等

    特点:

    1.OS无需修改

    2.速度和功能比较好,使用非常简单

    3.移植性好

           2.半虚拟化:通过事先经过修改的客户机操作系统内核共享宿主底层硬件来实现的

    Linux OS  VM1

    Windows OS  VM2

    VMM(Xen)

    CPU、显卡等

    特点:

    1.架构更简单

    2.对OS进行修改,用户体验比较麻烦

    3.速度上占一定优势

            3.硬件辅助虚拟化

    虚拟化技术的优势和劣势

    优势:

    1. 减少物力资源的投入,节约成本
    2. 虚拟数据资源迁移方便
    3. 提高物理资源的使用率
    4. 更加环保,节约能源
    5. 易于自动化维护与操作,减少维护成本
    6. 数据安全更有保障

    劣势:

    1. 目前业界没有统一的虚拟化技术标准与平台,没有开放的协议
    2. 如果没有对数据进行备份,应用虚拟化技术会存在一定的风险
    3. 虚拟数据中心的迁移,特别是对在线服务的迁移,对用户影响巨大

    全虚拟化与半虚拟化举例对比

    KVM(性能)

    1)全虚拟化

    2)内置在内核中

    3)便于版本安装、升级、维护

    4)性能好

    Xen(安全)

    1)半虚拟化

    2)需要修改内核

    3)更新版本,重新编辑整个内核

    4)隔离好

    虚拟化技术与云计算

    云计算1.0——以虚拟化为核心

    云计算2.0——以资源为核心

    云计算3.0——以应用为核心

    云计算:一种服务

    虚拟化:一种技术基础

    物理机

    1. 操作系统(Host OS)
    2. 硬件(Host Machine)

    虚拟机

    1. 操作系统(Guest OS)
    2. 虚拟机(Guest Machine)
    3. VMM(虚拟监控器)
    4. 硬件(Host Machine)

    操作系统

    Host OS

    硬件

    Host Machine

    操作系统

    Guest OS

    操作系统

    Guest OS

    虚拟机

    Guest Machine

    虚拟机

    Guest Machine

    VMM虚拟监控器

    硬件 Host Machine

    虚拟化的特点

    1. 分区——可分为多个虚拟机
    2. 隔离——虚拟机与虚拟机之间相互独立
    3. 封装——独立的文件夹形式
    4. 相对于硬件独立——屏蔽底层硬件不兼容问题

    第四章 数据中心

    数据中心的概念

           数据中心(Data Center)通常是指在一个物理空间内实现信息的集中处理、存储、传输、交换、管理,而计算机设备、服务器设备、网络设备、存储设备等通常认为是网络核心机房的关键设备。

            关键设备运行所需要的环境因素,如供电系统、制冷系统、机柜系统、消防系统、监控系统等通常被认为是关键物理基础设施。

    数据中心的定义、作用及分类

    数据中心的定义

            一说到数据中心,人们经常会想到一个高科技IT环境,大小和足球场差不多,其中装满了来自许多厂商的设备,并拥有充足的空调系统,即使伦敦动物园的企鹅,也能一直保持好心情。

            事实上,数据中心一词适用于为机柜或机架专门分配的任何空间,其中装有网络设备,这些设备要么为其他网络设备提供服务(一般通用布线传送),要么从外部电信网络中获得服务(如程控交换机、光纤或来自ISP的ADSL连接),要么为外部网络提供服务(典型代表是虚拟主机设施)。

            我们一般还会认为数据中心是一种多客户端环境,由第三方提供环境维护服务。但是,数据中心同样适用于最终用户内部网络中的主通信间。换句话说,数据中心可以是服务器室,可以是设备间,也可以是并放设备。

    作用

         提供强大动力

            在政府导向和市场驱动的双重作用下,我国大数据中心发展迅猛,市场规模一直保持高速增长。政府采购云服务的带动作用日益凸显,很多行业采用大数据中心对原有系统更新以支持业务发展。

            大数据中心有什么作用.中探魔方大数据平台表示数据中心是云计算的根,云计算是数据中心“叶子”,云计算通过“光合作用”促进数据中心的发展,而数据中心的壮大又为云计算发展提供了坚实的基础,这三者起到相互依存,互相促进的作用。

    分类

    数据中心的类型主要有四类:计算机机房、电信机房、控制机房、屏蔽机房等。这些机房既有电子机房的共性,也有各自的特点,其所涵盖的内容不同,功能也各异。

    1. 计算机机房

            计算机机房内放置重要的数据处理设备、存储设备、网络传输设备及机房保障设备。计算机机房的建设应考虑以上设备的正常运行,确保信息数据的安全性以及工作人员身心健康的需要。

            大型计算机机房一般由无人区机房组成。无人区机房一般包括小型机机房、服务器机房、存储机房、网络机房、介质存储间、空调设备间、UPS设备间、配电间等;有人区机房一般包括总控中心机房、研发机房、测试机房、设备测时间、设备维修存储间、缓冲间、更衣室、休息室等。

            中、小型计算机机房可将小型机机房、服务器机房、存储机房等合并为一个主机房。

    1. 电信机房

            电信机房是每个电信运行商的宝贵资源,合理、有效、充分地利用电信机房,对于设备的运行维护、快速处理设备故障、降低成本、提高企业的核心竞争力等具有十分重要的意义。

            电信机房一般是按不同的功能和专业来区分和布局的,通常分为设备机房、配套机房和辅助机房。

            设备机房是用于安装某一类通信设备,实现某一种特定通信功能的建筑空间,便于完成相应专业内的操作、维护和生产,一般由传输机房、交换机房、网络机房等组成。配套机房是用于安装保证通信设施正常、安全和稳定运行设备的建筑空间,一般由计费中心、网管监控室、电力电池室、变配电室和油机室等组成。

            辅助机房是除通信设施机房以外,保障生产、办公、生活需要的用房,一般由运维办公室、运维值班室、资料室、备品备件室、消防保安室、新风机房、钢瓶间和卫生间等组成。在一般智能建筑中通信机房经常与计算机网络机房合建。

    1. 控制机房

            随着智能化建筑的发展,为实现对建筑中智能化楼宇设备的控制,必须设立控制机房。控制机房相对于数据机房、电信机房而言,机房面积较小,功能比较单一,对环境要求较低。但却关系到智能化建筑的安全运行及设备、设施的正常使用。

            控制机房包括楼宇智能控制机房、保安监控机房、消防控制室、卫星接收机房、视频会议控制机房等。这些控制机房的共同特点是机房内均有操作人员工作,在保证电子设备运行的同时还要保证操作人员的身体需要。根据设备及操作的要求,这些控制机房也有其相应的特点。

    1. 屏蔽机房

            为了有效地防止电磁式噪音、辐射对电子设备和测量仪器的影响,并进行电子信号泄漏从而威胁到机密信息的安全,国家机关、军队、公安、银行、铁路等单位需要建立屏蔽机房。有保密要求的数据机房应建设屏蔽机房,确保数据在处理过程中,其信号不泄露,从而满足数据保密的要求。一些对抗电磁要求较高的环境,如通信设备的测试实验室等场所,需要建设屏蔽机房,以防止外界电磁信号。有强电磁设备的机房应进行相应的电磁屏蔽处理,以避免临近机房设备的正常运行。

    数据中心的发展历程

            上世纪的40年代,美国生产了世界上第一台全自动电子数据计算机“埃尼阿克”(Electronic Numerical Integrator And Calculator),体积3000立方英尺,占地170平方米,重量30吨,耗电140~150千瓦,就当这台庞然大物就此开启人类计算的新时代的同时,也开启了与之配套的“数据中心”历程的演进。

           上世纪的60年代,人们通常把数据中心称之为服务器农场,是用来存放计算机系统、存储系统、电力设备等等相关的组件。

            上世纪的80年代,微机市场(现在叫服务器)呈现出一片繁荣的景象,大量的计算机会被应用到各级的领域,但是很少人会关心运维,随着运维的技术越来越复杂,资源丢失的现象也越来越普遍,所有公司面临到IT资源管控的重要性。

            上世纪的90年代,微计算更加的繁荣,新一代的连接型网络取代了老一代的PC,开始将服务器单独的放在一个房间里,单的布线和分层设计,就是在那个时候才开始有了数据中心的叫法,这个名称延续到至今。

            2000年前后,互联网称爆发式的增长。在国内,腾讯、百度、阿里、网易等互联网公司的兴起,PC端对网络的要求不断的增加,有效的促进了数据中心的快速发展。

            2005年,数据中心发展稳定,而且就在这一年,电信公司推出了受行业所认可的机房设计标准,即:中国电信--2005 IDC产品规范;与此同时,美国电信产业也颁布了“TIA942标准”将机房分为Tire1-Tire4,4个级别。该两项标准为数据中心的稳定发展起到了规范和指导作用。

            2007年,一些大型数据中心也开始采用了更环保节能的技术来保障数据中心的正常运行。

            2010年,随着云计算技术的兴起,大数据中心逐渐的又走进了大家的视线。

    数据中心的组成及建设原则

    数据中心的组成

            从数据中心的物理范围看,数据中心可以是一个建筑群,建筑物,也可以是建筑物的一部分。按照数据中心的功能区划分,数据中心由主机房、辅助区、支持区和行政管理区。按照数据中心的专业系统划分,数据中心由供配电系统、机密空调、消防系统、安防系统、监控系统组成。

    功能区域划分

            主机房是安装和运行数据设备的建筑空间。

            辅助区域是安装、调试、维护、运行、监控和管理电子信息设备和软件的场所。

            支持区域是为主机房,辅助区提供动力支持和安全保障的区域。

            行政管理区:是日常行政管理及客户对托管设备进行管理的场所。

    专业系统划分

             供配电系统:数据中心供配电系统是从电源线路进用户起经过高/低压供配电设备到负载止的整个电路系统。供配电系统主要包括高压变配电系统,柴油发电机系统,自动转换开关系统,输入低压配电系统,不间断电源配电系统(UPS),UPS列头柜系统和机架配电系统,以及电气照明,防雷和接地系统。供配电系统是支撑数据中心运行的基础核心系统,为数据中心的主设备负载和辅助设备负载提供电力运行保障。

            主设备负载指计算机及网络系统,计算机外部设备及机房监控系统,这部分电力系统统称为设备供配电系统。其供电质量要求非常高,通常采用不间断电源系统来保证供电的稳定性和可靠性。

            辅助设备负载指空调设备,动力设备,照明设备等,其电力系统统称为辅助供配电系统,通常用市电直接供电。

           供配电系统在数据中心的作用极其重要,随着数据中心不断发展,2N或2(N+1)供配电系统中,大型数据中心得到普遍应用,其通常也被称为双总线或双母线供配电系统。

    精密空调系统

            机房专用空调的作用是将机房内计算机设备工作时所产生的热量通过热交换带出机房外,保持机房运行在SLA规定范围内。它通过对空气的处理是某区域范围内空气的温度,相对湿度,洁净度和气流速度达到一定的要求。空调的功能主要有制冷,制热,加湿,除湿和温度控制的功能。机房专用空调主要由控制系统,通风系统,制冷循环系统及除湿系统,加湿系统和加热补偿系统组成,水冷机组一般还包括冷却水循环系统。

            机房精密空调系统冷源有多种形式,如风冷型直接膨胀(蒸发式制冷)。水冷型直接膨胀制冷、自由制冷,冷冻水制冷,双冷源制冷等。

            消防系统:数据中心的消防系统分为灭火系统和火灾报警系统。数据中心机房内通常采用气体灭火系统,在吊顶内、吊顶下和地板下的大空间内都应设置气体喷嘴。火灾报警系统由消防控制箱、烟感、温感组成。由于数据中心机房内的空气流动速度特别快,烟感探头不易察觉火灾初期产生的烟雾,数据中心的机房内增了早期预警系统。早期预警系统采用的是吸入式采样原理,在火灾初期能进行报警,能极大地降低数据中心火灾风险。

            监控系统:机房监控系统包括视频监控和机房相关辅助设备的监控等,通过进行实时监控并记录,了解机房动态情况和环境动力设备运行情况,确保机房安全。

           机房监控系统一般包括机房供配电系统、UPS、空调系统、消防系统、安保系统(包括门禁系统、闭路监视系统、通道报警系统)、漏水检测系统等,具有完善的监控和控制功能,更为重要的是融合了机房的管理措施,对发生的各种事件都结合机房的具体情况给出处理信息,提示值班人员进行操作。机房监控系统具有实时语音通话报警和实时事件记录功能,能减轻机房维护人员的负担,实现机房的科学化管理。

            机房环境动力设备监控包括供配电系统监控、开关状态监控、UPS监控、空调监控、漏水监控、温湿度监控等。

    建设原则

    企业(机构)数据中心的建设应遵循以下几项原则:

    (1)坚持“统一领导,统一规划,统一标准,统一建设,信息共享,面向服务”的指导方针,推进规范化,标准化建设,建立互联互通、功能强大的企业(机构)数据中心。

    (2)应以国家部门,行业领域信息中心或专业信息机构为依托,汇集、建立企业(机构)某一部门或行业的科学数据共享资源。

    (3)坚持以需求为导向,从需求上找准切入点,从企业(机构)数据应用效益和现实情况出发确定重点建设内容,在企业(机构)数据共享应用方面下工夫,不做表面文章,不搞花架子工程。

    (4)坚持采用现代信息技术中的现金成熟技术,保证系统的安全性、可靠性、可扩充性、易维护性和开放性。

    (5)遵循系统工程建设的规律,对企业(机构)数据中心总体设计进行详细、科学的论证,加强项目过程管理,规范技术文档,对重要信息系统必须保留完整的源代码。

    云计算、大数据时代的数据中心发展趋势

            党的十八届五中全会将大数据上升为国家战略。回顾过去几年的发展,我国大数据发展可总结为:“进步长足,基础渐厚;喧嚣已逝,理性回归;成果丰硕,短板仍在;势头强劲,前景光明”。

            作为人口大国和制造大国,我国数据产生能力巨大,大数据资源极为丰富。随着数字中国建设的推进,各行业的数据资源采集、应用能力不断提升,将会导致更快更多的数据积累。预计到2020年,我国数据总量有望达到8000EB(1018),占全球数据总量的21%,将成为名列前茅的数据资源大国和全球数据中心。

            我国互联网大数据领域发展态势良好,市场化程度较高,一些互联网公司建成了具有国际领先水平的大数据存储与处理平台,并在移动支付、网络征信、电子商务等应用领域取得国际先进甚至领先的重要进展。然而,大数据与实体经济融合还远不够,行业大数据应用的广度和深度明显不足,生态系统亟待形成和发展。

             随着政务信息化的不断发展,各级政府积累了大量与公众生产生活息息相关的信息系统和数据,并成为最具价值数据的保有者。如何盘活这些数据,更好地支撑政府决策和便民服务,进而引领促进大数据事业发展,是事关全局的关键。2015年9月,国务院发布《促进大数据发展行动纲要》,其中重要任务之一就是“加快政府数据开放共享,推动资源整合,提升治理能力”,并明确了时间节点,2017年跨部门数据资源共享共用格局基本形成;2018年建成政府主导的数据共享开放平台,打通政府部门、企事业单位间的数据壁垒,并在部分领域开展应用试点;2020年实现政府数据集的普遍开放。随后,国务院和国务院办公厅又陆续印发了系列文件,推进政务信息资源共享管理、政务信息系统整合共享、互联网+政务服务试点、政务服务一网一门一次改革等,推进跨层级、跨地域、跨系统、跨部门、跨业务的政务信息系统整合、互联、协同和数据共享,用政务大数据支撑“放管服”改革落地,建设数字政府和智慧政府。目前,我国政务领域的数据开放共享已取得了重要进展和明显效果。例如:浙江省推出的“最多跑一次”改革,是推进供给侧结构性改革、落实“放管服”改革、优化营商环境的重要举措。以衢州市不动产交易为例,通过设立综合窗口再造业务流程,群众由原来跑国土、住建、税务3个窗口8次提交3套材料,变为只跑综合窗口1个窗口1次提交1套材料,效率大幅提高。据有关统计,截至2019年上半年,我国已有82个省级、副省级和地级政府上线了数据开放平台,涉及41.93%的省级行政区、66.67%的副省级城市和18.55%的地级城市。

           我国已经具备加快技术创新的良好基础。在科研投入方面,前期通过国家科技计划在大规模集群计算、服务器、处理器芯片、基础软件等方面系统性部署了研发任务,成绩斐然。“十三五”期间在国家重点研发计划中实施了“云计算和大数据”重点专项。当前科技创新2030大数据重大项目正在紧锣密鼓地筹划、部署中。我国在大数据内存计算、处理芯片、分析方法等方面突破了一些关键技术,特别是打破“信息孤岛”的数据互操作技术和互联网大数据应用技术已处于国际领先水平;在大数据存储、处理方面,研发了一些重要产品,有效地支撑了大数据应用;国内互联网公司推出的大数据平台和服务,处理能力跻身世界前列。

            国家大数据战略实施以来,地方政府纷纷响应联动、积极谋划布局。国家发改委组织建设11个国家大数据工程实验室,为大数据领域相关技术创新提供支撑和服务。发改委、工信部、中央信办网联合批复贵州、上海、京津冀、珠三角等8个综合试验区,正在加快建设。各地方政府纷纷出台促进大数据发展的指导政策、发展方案、专项政策和规章制度等,使大数据发展呈蓬勃之势。

           然而,我们也必须清醒地认识到我国在大数据方面仍存在一系列亟待补上的短板。

          一是大数据治理体系尚待构建。首先,法律法规滞后。目前,我国尚无真正意义上的数据管理法规,只在少数相关法律条文中有涉及到数据管理、数据安全等规范的内容,难以满足快速增长的数据管理需求。其次,共享开放程度低。推动数据资源共享开放,将有利于打通不同部门和系统的壁垒,促进数据流转,形成覆盖全面的大数据资源,为大数据分析应用奠定基础。我国政府机构和公共部门已经掌握巨大的数据资源,但存在“不愿”、“不敢”和“不会”共享开放的问题。例如:在“最多跑一次”改革中,由于技术人员缺乏,政务业务流程优化不足,涉及部门多、链条长,长期以来多头管理、各自为政等问题,导致很多地区、乡镇的综合性窗口难建立、数据难流动、业务系统难协调。同时,由于办事流程不规范,网上办事大厅指南五花八门,以至于同一个县市办理同一项事件,需要的材料、需要集成的数据在各乡镇的政务审批系统里却各有不同,造成群众不能一次性获得准确的相关信息而需要“跑多次”。当前,我国的政务数据共享开放进程,相对于《行动纲要》明确的时间节点,已明显落后,且数据质量堪忧。不少地方的政务数据开放平台,仍然存在标准不统一、数据不完整、不好用、不能用等问题。政务数据共享开放意义重大,仍需要坚持不懈地持续推进。此外,在数据共享与开放的实施过程中,各地还存在片面强调数据物理集中的“一刀切”现象,对已有信息化建设投资保护不足,造成新的浪费。第三,安全隐患增多。近年来,数据安全和隐私数据泄露事件频发,凸显大数据发展面临的严峻挑战。在大数据环境下,数据在采集、存储、跨境跨系统流转、利用、交易和销毁等环节的全生命周期过程中,所有权与管理权分离,真假难辨,多系统、多环节的信息隐性留存,导致数据跨境跨系统流转追踪难、控制难,数据确权和可信销毁也更加困难。

            二是核心技术薄弱。基础理论与核心技术的落后导致我国信息技术长期存在“空心化”和“低端化”问题,大数据时代需避免此问题在新一轮发展中再次出现。近年来,我国在大数据应用领域取得较大进展,但是基础理论、核心器件和算法、软件等层面,较之美国等技术发达国家仍明显落后。在大数据管理、处理系统与工具方面,我国主要依赖国外开源社区的开源软件,然而,由于我国对国际开源社区的影响力较弱,导致对大数据技术生态缺乏自主可控能力,成为制约我国大数据产业发展和国际化运营的重大隐患。

            三是融合应用有待深化。我国大数据与实体经济融合不够深入,主要问题表现在:基础设施配置不到位,数据采集难度大;缺乏有效引导与支撑,实体经济数字化转型缓慢;缺乏自主可控的数据互联共享平台等。当前,工业互联网成为互联网发展的新领域,然而仍存在不少问题:政府热、企业冷,政府时有“项目式”、“运动式”推进,而企业由于没看到直接、快捷的好处,接受度低;设备设施的数字化率和联网率偏低;大多数大企业仍然倾向打造难以与外部系统交互数据的封闭系统,而众多中小企业数字化转型的动力和能力严重不足;国外厂商的设备在我国具有垄断地位,这些企业纷纷推出相应的工业互联网平台,抢占工业领域的大数据基础服务市场。

    数据中心的基本单元——服务器

            一个完整的数据中心包括支撑系统、计算机设备和信息服务这三个逻辑部分。支撑系统主要是由电力设备、环境调节设备和监控设备组成,计算机设备包括服务器、存储设备和网络设备,这些设备运行着上层的信息服务。从中可以看到,服务器是数据中心服务的主要载体,同时与存储设备和网络设备相连,是数据中心的基本单元。

            服务器(Server)是指运行操作系统、数据库系统、Web系统等软件系统,为网络上其他终端提供服务的硬件设备。即从广义上讲,服务器是指网络中能对其他机器提供某些服务的计算机系统(如果一个PC对外提供FTP服务,也可以称之为服务器);从狭义上讲,服务器是专指某些高性能计算机,能通过网络对外提供服务。服务器通常都会采购专用的CPU,与PC相比,服务器有更高标准的主板和电源、以及专用的带纠错功能的高速内存(ECC内存)和专用的硬盘(SAS硬盘、FC硬盘、SSD硬盘)。

            目前常见的服务器从基础构架上分为使用RISC(精简指令集)CPU的专用服务器和使用CISC(复杂指令集)CPU的通用服务器。专用服务器主要用于对浮点运算性能较高的应用场景,如中型机和小型机,也就是大家经常听说的高性能机。目前大多数数据中心通常采用的是通用服务器,如Intel公司的Xeon系列和AMD公司的Opteron系列服务器。由于Xeon和Opteron与PC机的CPU都使用了X86架构,使用的都是CISC指令集,所以这类服务器通常被称为X86服务器。

            X86服器可从机箱结构和外形、结点密度、支持的CPU数量和用途进行分类。

    1)按机箱结构和外形分类:塔式服务器、机架式服务器;

    2)按结点密度分类:单结点服务器、多结点(高密度)服务器;

    3)按CPU数量分类:单路服务器、双路服务器、4路服务器、8路服务器、16路服务器、32路服务器。

    4)按功能分类:文件服务器、数据库服务器、邮件服务器、Web服务器、DNS服务器等。

    下面分别对这四种分类方式进行详细的讲解。

    按机箱结构和外形分类

    (1)塔式服务器

            塔式服务器的外形如图所示,塔式服务器机箱从体积上可以分为全塔式、中塔式、mini 塔式,塔式服务器占用的体积比较大,通常数据中心或云计算中心不采用塔式服务器。

    (2)机架式服务器

            对于建设费用高昂的数据中心来说,数据中心空间利用率非常重要,塔式服务器的空间利用率较低,不适合用于数据中心,于是机架式服务器应运而生。

            机架式服务器采用了与交换机一样的长方体结构,美国电子工业协会(U. S. Energy Information Administration EIA)制定了统一的标准尺寸,标准宽度(两端上架孔距)固定为470mm, 标准深度为650mm,在高度方面,EIA推出了一个专用计量单位“U”(Unit的缩略语)。1U=1.75英寸=44.5mm。机架式服务器在高度上分为1U/2U/3U等。后面要讲到的刀片式服务器(刀片机)也属于机架式服务器。

    按结点密度分类

            结点密度是单台服务器内置的独立系统单元数目,即单台服务器内置的主板数目。内置一个系统单元的服务器称为单结点服务器,单结点服务器是平时最常见的服务器类型;内置两个系统单元的服务器称为双结点服务器,通常被称为“双子星”服务器。以此类推还有“四子星”,“八子星”等,结点密度一般为偶数。

            单台服务器的密度在四结点及以上的,又被称作高密度服务器。刀片机也是高密度服务器的一种,相比“四子星”和“八子星”等高密度服务器。刀片机在电源模块和网络模块等万面拥有更高的集成密度,目前主流的刀片机可达7U/14刀及以上的密度。例如双子星服务器、四子星服务器、十八子星服务器、刀片式服务器(7U/14刀)。

    按CPU数量分类

            服务器所指的“单路”或者“双路”是指单台服务器的主板上所能支持安装CPU的数量,一般为偶数颗CPU协同工作,用以得到更高的单机(单元)计算性能。

            只支持一颗CPU的服务器称为单路服务器;支持两颗CPU的服务器称为双路服务器:支持四颗CPU的服务器称为四路服务器;双路及以上的服务器统称为多路服务器。例如单路服务器、双路服务器、四路服务器。

    4、按功能分类

           为了让服务器提供各种不同的服务,实现各种不同的功能,因此服务器按功能可以划分为文件服务器、数据库服务器、邮件服务器、Web服务器、DNS服务器等。

           文件服务器是以文件数据共享为目标。它的特点是将供多台计算机共享的文件存放于一台计算机中,这台计算机就被称为文件服务器,如Windows Server2003文件服务器。

            数据库服务器是安装了不同的数据库软件,提供不同的数据库服务的服务器被称为数据库服务器,如Oracle数据库服务器、MySQL数据库服务器、SQL Server数据库服务器等。

            邮件服务器对企业用户来说也很重要。提供邮件功能的服务器被称为邮件服务器。它们通常安装的软件包括 Web Easy Mail、Send mail、 Postfix、Q Mail、Exchange等。

            Web服务器是网络服务器的一种,其用途是提供Web网页服务,如基于Apache、等系统搭建的服务器。

            DNS服务器是提供城名服务的服务器称为DNS服务器,通过DNS服务器,可以实现域名服务的查询、应答。

    数据中心选址

           数据中心的选址是数据中心建设的早期重要工作,数据中心的使用年限往往会超过20年,数据中心的建设、运行、维护涉及对于地质条件、气候环境、电力供给、网络带室、人力资源等条件,需要综合考虑以下诸多因素。

           地质环境:大型数据中心在选址的时候一般倾向选择建设在地质条件比较稳定,地震、沉降等自然灾害较少的地区,减少自然灾害等不可抗力对数据中心运行的影响概率。

           起候条件:气候条件对于数据中心的建设、运行成本有直接影响,建设在寒冷地区的数据中心与建设在炎热地区的数据中心相比,用于制冷的电力成本大幅降低,同时其制冷系统的建设级别和造价相对较低。Google在比利时、芬兰等寒冷地区建设了自己的数据中心。尤其是建设在比利时的数据中心基本全年性地采用无须制冷剂的自由冷却方式对数据中心进行降温,制冷系统造价和电力成本非常低。

            电力供给:数据中心是电力消耗的大户,在美国,数据中心的能耗已经占美国全国用电量的1.5%早在2012年全球数据中心的总能耗就已超过300亿瓦,相当于30座核电然的发电量:单个数据中心的能耗已经上升到千万瓦的级别。所以数据中心在选址时必须要考虑当地的电力供应能力和电力成本。

           网络带宽:网络带宽是数据中心为用户提供服务的核心资源,网络带宽直接影响用户的请求响应及时性,是数据中心选址考虑的重要因素,需要选择网络带宽条件较好的骨干网结点城市。

           水源条件:目前先进的数据中心的冷却系统经常采用水冷系统进行蒸发冷却,用水量巨大,如微软公司的圣安东尼奥数据中心每年需要消耗38万吨水用于制冷,所以数据中心选址时需要考虑当地的水源供给情况。

           人力资源:数据中心在选址时需要选择在能够提供必要的数据中心的建设、维护、运营等人力的地区。

           以Google的数据中心选址为例,Google一般会选择在电力成本低廉、绿色能源丰富、水资源丰富、地域开阔、与其他数据中心距离合理的地方来新建数据中心。Google数据中心的服务器数量占全球服务器总量的3%,但只消耗了全球数据中心1%的电力,可再生能源的使用量占其总电力消耗的近30%,这得益于Google的数据中心节能环保技术。Google将数据中心的冷通道温度保持在27℃,并使用外部空气冷却其数据中心,而不是使用耗能的冷却系统。Google的服务器都是由其自行设计,减少不需要的组件,减少不必要的部件能耗,减少风扇数量,从而提高了能源使用效率。

    数据中心的能耗

            本章前面部分提到,数据中心的硬件部分由机柜、服务器、网络设备、网络安全设备、存储设备等组成。数据中心的能耗控制可以分为数据中心级、结点级、器件级,如下图所示。

           数据中心级:从较为宏观的数据中心级别来看,制冷系统所消耗的能源占数据中心总体能耗的比重较大,制冷系统的规划和性能对于数据中心整体能耗的影响很大。

           结点级:结点级的能耗控制主要在于根据结点的负载状况动态调整处于工作状态的结点数量。

           器件级:CPU、内存、硬盘等器件的能耗主要通过调整工作电压和频率的方式来控制。

    数据中心能耗评估

           数据中心的能耗通常是通过PUE、DCIE、IT设备能效比等参数来进行评估。

    1.PUE

          PUE(Power Usage Effectiveness,电源使用效率)由美国绿色网格联盟(The Green Grid)于2007年提出,是业界公认的测量数据中心能耗的主要指标之一,其定义如下:

           PUE=数据中心整体能耗/设备能耗IT设备的能耗为数据中心计算、存储、网络等核心设备的总能耗,包含服务器、网络没备、存储设备等;数据中心整体能耗为IT设备能耗、制冷设备能耗、电源能耗、控制仪表等设备的能耗总和。

           PUE值表示数据中心的总能耗为IT设备能耗的倍数,其值越小表示用于数据中心计算、存储等核心设备的运行的能耗比例越大,数据中心的能源效率越高。如,PUE=3时,数据中心总能耗为IT设备能耗的3倍,服务器等IT设备每消耗1度电,空调等其他设备就要消耗2度电,数据中心总体能效较低;当PUE=1时,数据中心的所有电能都用于IT设备的运行,没有其他的能量损耗,是PUE的理论最小值。

          Google公司拥有数以百万计的庞大服务器集群,其数据中心建设采用一系列先进的建设技术,从2008年首次开始统计报告PUE数据以来,Google的数据中心其全年平均PUE值为1.12,最优值为1.06,远优于全球PUE的平均值1.8-1.89。我国的数据中心PUE值相对较高,全国数据中心PUE平均值为2.5,百度M1云计算中心的PUE值最低,全年平均值为1.35,最优值为1.18,是国内能效最高的数据中心之一。

           以下为计算数据中心能耗的例子。

           数据中心入有100个机柜,每个机柜有5台2U/18刀的刀片式服务器,运行时总功率为500w。IT设备功率250kW,该数据中心的PUE-500/250-2。

         数据中心B由200个机柜,每个机柜有6台机架式2U/4刀的机架式服务器,运行时功率为700kW,IT设备功率为300kW,该数据中心的PUE-700/300-2.33。

           以上例子表明数据中心A的PUE值低于数据中心B,说明数据中心A的能效更高。

    2.DCIE

           IF(Data Center Infrastructure Efficiency数据中心基础设施效率)是数据中心能耗评估——公认指标,是由美国绿色网格联题于2007年提出,用于表示数据中心IT设备用电占总用电量的比例,其定义如下:

           DCIE=IT设备能耗\数据中心整体能耗CIE&PUE的倒数,其数值小于1,越接近于1表明数据中心能源用于IT设备的比例越高,数据中心的能源效率越高。

    3.IT设备的能效比

            IT设备自身的能效也是数据中心能效的一个重要指标,其定义如下:

            IT设备每秒的数据处理流量\IT设备的能耗这里的IT设备指的是服务器、存储等设备,IT设备的能效比越高IT设备每消耗单位电能所能处理、存储和交换的数据量越大;执行相同的计算、存储、通信任务IT设备的能效比越高消耗的能量就越低,设备与周围环境的热交换就越少,这样可以降低数据中心UPS和空调系统的设计容量,进一步降低数据中心的能耗,提高数据中心的能效。

    数据中心的主要节能措施

           随着新一代数据中心建设浪潮的兴起,数据中心机房里服务器的密度越来越高、数量越来越大,电力消耗和散热能力正在成为数据中心重点关注的问题,数据中心所消耗的电力以及要冷却数据中心各种设备产生的热量的电力消耗都达到了越来越高的水平。电力的巨大消耗带来各种严峻问题,巨额的电力成本会让数据中心运营的整体成本上升,并且,相对而言在一段时期内任何一个数据中心的电力供给都是有限的,在日益倡导绿色环保的低碳时代,降低数据中心的能耗极为必要。

          在保证数据中心基础设施稳定运行的同时又能显著减少电力消耗与电力成本的方法有以下这些。

    服务器虚拟化

           服务器的电力消耗占整个数据中心电力消耗的一半左右,虚拟化技术让一台物理服务器可以运行多个虚拟主机,这让单独服务器的计算资源可以被多个环境共享,通过调整服务器的负载,可以让计算资源得到充分利用。降低二氧化碳排放量,降低管理和运营成本。

           服务器虚拟化技术降低成本的效果是非常明显的,平均来说,以一个月为周期,和应用多台服务器的非虚拟化站点相比,应用虚拟化技术的服务器站点在数据流量、能耗、受攻击威胁和总体运营成本上只有前者的10%。

    采用现代化冷却系统

           供热通风与空气调节系统(Heating Ventilation and Air Conditioning,HVAC)系统通常是数据中心第二大耗电系统,Data Center Users Group估计,HVAC系统消耗的电能占数据中心能源消耗的37%.面对大规模的数据中心的冷却任务,多数传统的冷却系统无法最优化处理,冷却效率非常低。采用现代化、模块化和更高效的组件替代一些传统空调设备进行冷却处理可以节约大量电能。在气候条件允许的情况下,采用类似用外部冷空气替代电力系统来进行冷却的方式,将可以有效节约电能。

    重组数据中心

           数据中心的数量和规模近些年来增长迅速,而很多数据中心中的服务器则被随处安装,非常缺乏计划性。这导致了数据中心的发热与散热不均,超载的IT环境也很难保证冷却系统的最优化运行。

            对数据中心服务器的物理位置进行重组,例如配置冷、热通道,都可以显著减少冷却系统的负荷。

    升级数据存储器

           数据存储系统也是数据中心电能消耗人的主要原因之一。更新存储系统也可以显著减少数据中心的电力消耗。一般来说,新磁盘比旧磁盘能效更高,而一个高容量磁盘则比两个相同容量的低容量磁盘消耗能源少。存储虚拟化也可以通过提高存储器的利用率、避免提供过最存储空间来提高能效。对于一些应用软件来说,可用SATA磁盘替代光纤驱动,因为后者每T e r a B V t e(字节,计算机存储容量单位,也常用TB来表示,1TB=1024GB=240字节)消耗的电能是前者的两倍。

    升级变压器

    数据中心的交流电供给需要采用变压器。大量电能就在这一环节损失了。很多廉价的变压器的效率仅为80%,但通过对变压器升级,其利用率可达90%甚至更多样,数据中心的电力损耗则可明显减少。

    将服务器芯片更新为低电力消耗产品

    如果服务器硬件达到了使用寿命,可采用低功耗的服务器芯片(CPU)和其他组件(如前面所提到的磁盘驱动器和变压器)进行替换以降低能耗。

    开展软件审核

    绘制一份服务器运行的最新图表,注明正在运行的服务器及其上运行的软件,关闭空转的服务器以实现节省电能。

    提高冷却温度

    数据中心硬件进行更新时,有时冷却温度超出了指定范围。提高数据中心的冷却温度可以有效减少电力消耗。

    展开全文
  • 云计算技术在电子游戏领域的应用与发展.pdf
  • 基于云计算的会计信息化案例分析 基于云计算的会计信息化案例分析 基于云计算的会计信息化案例分析基于云计算的会计信息化案例分析 2018年 08月 02 日 摘要摘要企业会计信息化建设是一个长期的动态过程现在企业通常...
  • IT云计算应用交流.pptx

    2020-10-18 19:02:48
    IT云计算应用交流;目录;前提-基础设施项目的统一管理;应用的范围和规模;云计算带来的好处-投资的节约(1;云计算带来的好处-投资的节约(2;云计算带来的好处-基础平台能力快速提供;云计算带来的好处-管理的便捷性;...
  • 百度网盘、华为网盘、iCloud:一种很简单的与计算应用,提供照片和文件的存储,用户无需购买硬盘。   OneNode、在线Office:用户可以直接用浏览器来编辑文档,随时随地通过网络查看,不需要携带笔记本来回奔波。  ...
  • ├<阶段1 java语言基础> ...│ ├综合案例(用户信息)> │ ├和Listener> │ ├ │ ├和JSON> │ ├ │ ├基础> │ ├旅游网> │ ├ │ └ ├<阶段3.1 Mybatis·> │ ├课程介绍及环境搭建> │ ├入门案例> │ ├<03.

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 39,256
精华内容 15,702
关键字:

云计算应用案例