精华内容
下载资源
问答
  • 云计算原理与实践Principles and Practice of Cloud Computing云计算原理与实践Principles and Practice of Cloud Computing云计算原理与实践课程总览Outline7.1 云安全概述7.2 虚拟机安全7.3 云存储安全7.4 云数据...
  • 云计算原理与实践;云计算原理与实践课程总览;Outline;10.1 从软件到云件 ;10.1.1云件的基本概念;10.1.2 从软件到云件的变迁 ;10.1.2 从软件到云件的变迁 ;10.1.2 从软件到云件的变迁 ;10.1.2 从软件到云件的变迁 ;...
  • 云计算原理

    2011-11-29 16:27:12
    原因可能包括以下几点: 用户可以随时随地使用程序和数据,只要有连接到因特网的计算机,就能接入云计算系统,而无需通过用户计算机或公司内部网络访问数据。 使云计算系统能够降低硬件成本,用户可以省去购买高端...
  • 云计算原理与实践;云计算原理与实践课程总览;Outline;4.1 虚拟化的定义;1服务器虚拟化;2网络虚拟化;3桌面虚拟化;4软件定义的存储;4.2 服务器虚拟化;图4.1 虚拟化前后的计算机体系结构;图4.2 虚拟化软件层所处的位置;...
  • 云计算原理与实践;云计算原理与实践课程总览;Outline;8.1 初识云计算 ;8.1.1 云原生简介;8.1.1 云原生简介;8.1.2 云原生的内容;图8.1 云原生的内容;8.1.2 云原生的内容;8.1.2 云原生的内容;图8.2 持续交付流程示例;...
  • 云计算原理与范式

    2015-08-24 14:54:18
    云计算原理与范式:阐述云计算原理,理解云计算基础。(带目录,中文完整版)
  • Google云计算原理

    2015-04-03 14:19:37
    Google云计算原理,包括GFS,MapReduce,Bigtable等
  • 云计算原理与实践;云计算原理与实践课程总览;Outline;1.1 初识云计算 ;图1.1 超市模式电厂模式和云计算模式;1.1.1 云计算的定义;云计算的定义;图1.2 云计算的全局视角;1.1.1 云计算的定义;云计算总结;1.1.2 计算模式...
  • Google云计算原理与应用
  • 云计算原理与实践;云计算原理与实践课程总览;Outline;6.1 基本概念;6.1.1 计算机网络;计算机网络相关术语;6.1.2 覆盖网络;1. GRE;2.VLAN;3VXLAN;4.NVGRE;5. IPSEC;6.1.3 大二层网络;6.1.4 租户网络;6.2 数据中心网络...
  • GOOGLE云计算原理

    2012-11-11 14:55:44
    云计算原理文件,第一章是:Google云计算背景。第二章是:分布式文件系统GFS。
  • 云计算原理与实践Principles and Practice of Cloud Computing云计算原理与实践Principles and Practice of Cloud Computing云计算原理与实践课程总览OutlineDomain expertiseMathematicsMachine LearningData ...
  • 云计算原理运用

    2012-03-19 23:36:55
    云计算原理运用,全面介绍了云相关概率,值得一看的文档资料
  • 云计算原理与技术

    2019-12-03 20:01:19
    云计算原理与技术8.1 云计算概述8.1.1 云计算的起源8.1.2 云计算的定义8.1.3 云计算的分类8.2 云计算关键技术8.2.1 体系结构8.2.2 数据存储8.2.3 计算模型8.2.4 资源调度8.2.5 虚拟化8.3 Google云计算原理8.3.1 CFS...

    8.1 云计算概述

      云计算(cloud computing)是分布式计算的一种,指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序,然后,通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期,简单地说,就是简单的分布式计算,解决任务分发,并进行计算结果的合并。因而,云计算又称为网格计算。通过这项技术,可以在很短的时间内(几秒种)完成对数以万计的数据的处理,从而达到强大的网络服务。
      现阶段所说的云服务已经不单单是一种分布式计算,而是分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗杂和虚拟化等计算机技术混合演进并跃升的结果。

    8.1.1 云计算的起源

      互联网自1960年开始兴起,主要用于军方、大型企业等之间的纯文字电子邮件或新闻集群组服务。直到1990年才开始进入普通家庭,随着web网站与电子商务的发展,网络已经成为了目前人们离不开的生活必需品之一。云计算这个概念首次在2006年8月的搜索引擎会议上提出,成为了互联网的第三次革命。
    近几年来,云计算也正在成为信息技术产业发展的战略重点,全球的信息技术企业都在纷纷向云计算转型。我们举例来说,每家公司都需要做数据信息化,存储相关的运营数据,进行产品管理,人员管理,财务管理等,而进行这些数据管理的基本设备就是计算机了。
      对于一家企业来说,一台计算机的运算能力是远远无法满足数据运算需求的,那么公司就要购置一台运算能力更强的计算机,也就是服务器。而对于规模比较大的企业来说,一台服务器的运算能力显然还是不够的,那就需要企业购置多台服务器,甚至演变成为一个具有多台服务器的数据中心,而且服务器的数量会直接影响这个数据中心的业务处理能力。除了高额的初期建设成本之外,计算机的运营支出中花费在电费上的金钱要比投资成本高得多,再加上计算机和网络的维护支出,这些总的费用是中小型企业难以承担的,于是云计算的概念便应运而生了。

    8.1.2 云计算的定义

      “云”实质上就是一个网络,狭义上讲,云计算就是一种提供资源的网络,使用者可以随时获取“云”上的资源,按需求量使用,并且可以看成是无限扩展的,只要按使用量付费就可以,“云”就像自来水厂一样,我们可以随时接水,并且不限量,按照自己家的用水量,付费给自来水厂就可以。
      从广义上说,云计算是与信息技术、软件、互联网相关的一种服务,这种计算资源共享池叫做“云”,云计算把许多计算资源集合起来,通过软件实现自动化管理,只需要很少的人参与,就能让资源被快速提供。也就是说,计算能力作为一种商品,可以在互联网上流通,就像水、电、煤气一样,可以方便地取用,且价格较为低廉。
      总之,云计算不是一种全新的网络技术,而是一种全新的网络应用概念,云计算的核心概念就是以互联网为中心,在网站上提供快速且安全的云计算服务与数据存储,让每一个使用互联网的人都可以使用网络上的庞大计算资源与数据中心。
      云计算是继互联网、计算机后在信息时代有一种新的革新,云计算是信息时代的一个大飞跃,未来的时代可能是云计算的时代,虽然目前有关云计算的定义有很多,但总体上来说,云计算虽然有许多得含义,但概括来说,云计算的基本含义是一致的,即云计算具有很强的扩展性和需要性,可以为用户提供一种全新的体验,云计算的核心是可以将很多的计算机资源协调在一起,因此,使用户通过网络就可以获取到无限的资源,同时获取的资源不受时间和空间的限制。
    目前比较权威的云计算定义是美国国家标准技术研究院NIST提出的,包括以下4点:
    1)云计算是一种利用互联网实现随时随地、按需、便捷地访问共享资源池的计算模式。
    2)云计算模式具有5个基本特征:按需自助服务、广泛的网络访问、共享的资源池、快速弹性能力、可度量的服务。
    3)云计算有3种服务模式:软件即服务(SaaS)、云平台即服务(PaaS)、基础设施即服务(IaaS)。
    4)云计算有4种部署方式:私有云、社区云、公有云、混合云。

    8.1.3 云计算的分类

      通常,它的服务类型分为三类,即基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。这3种云计算服务有时称为云计算堆栈,因为它们构建堆栈,它们位于彼此之上,以下是这三种服务的概述:
    1、基础设施即服务IaaS)
    基础设施即服务是主要的服务类别之一,它向云计算提供商的个人或组织提供虚拟化计算资源,如虚拟机、存储、网络和操作系统。
    2、平台即服务(PaaS)
    平台即服务是一种服务类别,为开发人员提供通过全球互联网构建应用程序和服务的平台。Paas为开发、测试和管理软件应用程序提供按需开发环境。
    3、软件即服务(SaaS)
    软件即服务也是其服务的一类,通过互联网提供按需软件付费应用程序,云计算提供商托管和管理软件应用程序,并允许其用户连接到应用程序并通过全球互联网访问应用程序。

    8.2 云计算关键技术

    • 体系结构
    • 数据存储
    • 计算模型
    • 资源调度
    • 虚拟化技术

    8.2.1 体系结构

      云计算可以按需求弹性的服务,它的提议架构大致分为3个层次:核心服务层、服务管理层、用户访问接口层。核心服务层将硬件基础设置、软件运行环境、应用程序抽象成服务,这些服务具有可靠性强、可用性高、规模可伸缩等特点,可满足多样化的应用需求。
    1、核心服务层
    云计算核心服务层通常分为3个子层:IaaS 提供硬件基础设施部署服务、PaaS 是云计算应用程序运行环境,提供应用程序部署于管理服务、SaaS是基于云计算基础平台所开发的应用程序。
    2、服务管理层
    服务管理层核心服务层的可用性、可靠性和安全性提供保障。
    3、用户访问接口层
    用户访问接口层实现了云计算服务的泛在访问,通常包括命令行、Web服务、Web门户等形式。

    8.2.2 数据存储

      云计算环境系的数据存储,通常陈伟海量数据存储,或大数据存储。大数据存储与传统的数据库服务在本质上有着较大的区别,传统的关系数据库中强调事务的ACID特性,即原子性、一致性、隔离性和持久性,对数据的一致性的严格要求使其在很多分布式场景中无法应用。

    NoSQL数据库分类
    NoSQL

    8.2.3 计算模型

      云计算的计算模型是一种可编程的并行计算框架,需要高扩展性和容错性支持。目前比较成熟的技术有MapReduce、Dryad等。

    8.2.4 资源调度

      海量数据处理平台的大规模性给资源管理与调度带来挑战。

    8.2.5 虚拟化

      虚拟化是IaaS层的重要组成部分,也是云计算的重要特点。虚拟化技术具有以下特点。
    1)资源共享:通过虚拟机封装有用户各自的运行环境,有效实现多用户分享数据中心资源。
    2)资源定制:用户利用虚拟化技术,配置私有的服务器,制定所需的CPU数目、内存容量、磁盘空间,而且有助于服务器的负载均衡和节能。
    3)细粒度资源管理:将乌里服务器拆分成若干虚拟机,可以提高服务器的资源利用率,减少浪费,而且有助于服务器的负载均衡和节能。

    8.3 Google云计算原理

    Google云计算平台的几个关键技术

    • 文件存储,Google File System,GFS
    • 并行数据处理MapReduce
    • 结构化数据表BigTable
    • 分布式锁Chubby

    8.3.1 CFS

      网页搜索业务需要海量的数据存储,同时还需要满足高可用、高可靠性和经济性等要求。Google开发了分布式文件系统——Google File System(CFS)。
    在这里插入图片描述

    8.3.2 MapReduce

      MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)“和"Reduce(归约)”,是它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(归约)函数,用来保证所有映射的键值对中的每一个共享相同的键组。
    在这里插入图片描述

    8.3.3 BigTable

    在这里插入图片描述

    8.3.4 Dremel

      Dremel是Google 的“交互式”数据分析系统。可以组建成规模上千的集群,处理PB级别的数据。MapReduce处理一个数据,需要分钟级的时间。作为MapReduce 的发起人,Google开发了Dremel将处理时间缩短到秒级,作为MapReduce的交互式查询能力不足的有力补充。
      Dremel的数据模型是嵌套的,用列式存储,并结合了Web搜索和并行DBMS的技术,建立查询树,将一个巨大的复杂的查询,分割成较小较简单的查询,大事化小,小事化了,能并发的在大量结点上跑,如图所示。

    在这里插入图片描述

    8.4 Amazon云服务

    8.4.1 Amazon 云平台存储架构

    在这里插入图片描述

    8.4.2 其它组件

    • 弹性计算云EC2
      Amazon弹性计算云是一个让使用者可以租用云计算机运行所需应用的系统,提供基础设施层次的服务(IaaS)
    • 简单存储服务S3
      Amazon S3是一款在线存储服务,在云计算环境下提供了不受限制的数据存储空间。
    • 简单数据库服务Simple DB
      Amazon SimpleDB是一种可用性高、灵活性大的非关系数据存储服务,与S3不同,它主要用于存储结构化数据。
    • 简单队列服务SQS
      Amazon SQS是面向消息的中间件的云计算解决方案,而且不局限于某一语言。
    • 弹性MapReduce服务
      Amazon EMR是一个能够高性能处理大规模数据的Web服务。
    • 内容推送服务CloudFront
      CloudFront是一个内容分发网络服务(Web服务),该服务可以很容易地将内同投递到终端用户,具有低延迟、高数据传输速率等特点。
    • AWS导入/导出
      AWS Import/Export工具采用Amazon公司内部的高速网络和便携存储服务,绕过互联网来对Amazon云上的数据进行导入/导出,所以Import/Export通常快于互联网的数据传输。
    • 关系数据库服务
      Amazon RDS是一种Web服务,可让用户更轻松地在云中设置、操作和扩展关系数据库。
    展开全文
  • 云计算原理与实践;Education IT = New Learning Science;云计算原理与实践建设理念;云计算原理与实践教材介绍;特色1完整的云计算知识框架;三大认识角度之一商业模式;三大认识角度之二计算范式;三大认识角度之三实现...
  • 云计算原理与实践Principles and Practice of Cloud Computing云计算原理与实践Principles and Practice of Cloud ComputingOutline13.1 软件开发云的概念13.2 华为软件开发云服务13.3 DevCloud技术方案13.4 实践...
  • 云计算原理与实践

    2019-07-07 02:38:11
    云计算原理与实践》 基本信息 作者: 游小明 罗光春 丛书名: 云计算技术系列丛书 出版社:机械工业出版社 ISBN:9787111419624 上架时间:2013-8-8 出版日期:2013 年8月 开本:16开 页码:1 版次:1-1...
    《云计算原理与实践》
    基本信息
    作者: 游小明 罗光春
    丛书名: 云计算技术系列丛书
    出版社:机械工业出版社
    ISBN:9787111419624
    上架时间:2013-8-8
    出版日期:2013 年8月
    开本:16开
    页码:1
    版次:1-1
    所属分类:计算机 > 电子商务与计算机文化 > 综合
    更多关于》》》《 云计算原理与实践
    内容简介
    计算机书籍
      《云计算原理与实践》以生动的语言、简明的形式介绍云计算的核心技术,图文并茂地讲述虚拟机的安装配置,结合主流产品讲述云计算的三大服务,方便读者了解云计算,熟悉云计算服务。本书给出了一个完整云计算平台配置环境及其安装部署过程,引导用户了解云计算产品使用方式,帮助用户深入理解本书所阐述的云计算内容。
       《云计算原理与实践》既适用于希望了解云计算具体方案、快速使用虚拟机部署云服务的云计算用户,又适用于从事云计算开发工作的研发人员和希望使用云计算进行信息化建设的it管理人员。同时,本书可以作为高校和研究院所的云计算教学用书。
    目录
    《云计算原理与实践》
    前言
    第1章 绪论 1
    1.1 云计算的概念 1
    1.2 云计算的起源 2
    1.3 云计算的发展历史 3
    第2章 云计算核心技术 7
    2.1 虚拟化技术 7
    2.1.1 虚拟化简介 7
    2.1.2 虚拟化分类 7
    2.1.3 服务器虚拟化 9
    2.1.4 虚拟化与云计算 11
    2.1.5 虚拟化技术未来发展趋势 12
    2.2 高速网络技术 13
    2.2.1 网络技术发展简介 13
    2.2.2 几种网络技术 14
    2.2.3 网络技术与云计算 16
    2.2.4 高速网络技术未来发展趋势 19
    2.3 数据存储技术 20
    2.3.1 数据存储技术简介 20
    .2.3.2 数据存储的几种模式 20
    2.3.3 云存储与传统存储比较 23
    2.3.4 云计算中的数据存储 24
    2.3.5 数据存储技术未来发展趋势 29
    2.4 资源管理技术 30
    2.4.1 资源管理简介 30
    2.4.2 资源管理中的负载均衡 31
    2.4.3 云计算下的资源管理 33
    2.4.4 资源管理技术未来发展趋势 34
    2.5 其他技术 35
    2.5.1 云监测技术 35
    2.5.2 能耗管理技术 39
    2.5.3 云服务计费技术 40
    第3章 虚拟技术产品分析 42
    3.1 xen 42
    3.1.1 简介 42
    3.1.2 体系架构 43
    3.1.3 实现机制 44
    3.1.4 部署实例 47
    3.2 vmware 50
    3.2.1 简介 50
    3.2.2 体系架构 52
    3.2.3 实现机制 56
    3.2.4 部署实例 58
    3.3 kvm 69
    3.3.1 简介 69
    3.3.2 功能与架构 70
    3.3.3 实现机制 74
    3.3.4 部署实例 76
    第4章 iaas 80
    4.1 eucalyptus 80
    4.1.1 简介 80
    4.1.2 核心技术 84
    4.1.3 实现机制 90
    4.1.4 部署实例 95
    4.2 openstack 103
    4.2.1 简介 103
    4.2.2 核心技术 103
    4.2.3 实现机制 108
    4.2.4 部署实例 110
    第5章 paas 118
    5.1 wso2简介 118
    5.2 wso2 paas架构 118
    5.2.1 wso2 carbon 118
    5.2.2 wso2 stratos 119
    5.2.3 wso2 stratoslive 120
    5.3 wso2 核心技术 121
    5.3.1 总体架构 121
    5.3.2 核心服务 122
    5.3.3 工作机制 127
    5.4 kirin-paas 128
    5.4.1 简介 129
    5.4.2 核心技术 129
    5.4.3 部署实例 133
    第6章 saas 156
    6.1 saas简介 156
    6.1.1 saas的概念 156
    6.1.2 saas的发展 156
    6.1.3 saas的分类 158
    6.1.4 saas的模型 159
    6.2 saas的相关技术 161
    6.2.1 key-value 161
    6.2.2 多租户 165
    6.2.3 soa 166
    6.2.4 crm 167
    6.3 saas的优势 168
    6.3.1 saas的显著特征 168
    6.3.2 saas有别于传统软件的特性 169
    6.4 saas展望 170
    6.4.1 发展趋势 170
    6.4.2 发展的安全问题 171
    6.4.3 云计算的影响 172
    第7章 云计算平台部署流程 173
    7.1 系统描述及部署说明 173
    7.1.1 完整云计算平台结构 173
    7.1.2 系统逻辑结构 174
    7.1.3 业务系统结构 174
    7.1.4 云计算平台部署 175
    7.2 运行环境 176
    7.2.1 硬件环境 176
    7.2.2 软件环境 178
    7.3 云计算平台安装 178
    7.3.1 iaas系统安装 178
    7.3.2 paas系统安装 178
    7.4 云计算平台使用 180
    参考文献 187
    图书信息来源: 互动出版网

    转载于:https://www.cnblogs.com/china-pub/p/3270574.html

    展开全文
  • 云计算原理与实践;云计算原理与实践课程总览;Outline;2.1 分布式计算概述 ;2.1.1 基本概念;中科院的定义;分布式计算比起其他算法具有以下几个优点 ? 稀有资源可以共享 ? 通过分布式计算可以在多台计算机上平衡计算...
  • 云计算原理与技术总结云计算概述云计算的起源云计算的定义云计算的分类基础设施即服务(IaaS)平台即服务(PaaS)软件即服务(SaaS)云计算关键技术体系结构核心服务层服务管理层用户访问接口层数据存储计算模型资源...

    云计算概述

    云计算的起源

    随着信息和网络通信技术的快速发展,计算模式从最初的把任务交给大型处理机集中计算,逐渐发展为更有效率的基于网络的分布式任务处理模式。
    云计算的起源
    云计算是分布式计算、效用计算、虚拟化技术、Web服务、网格计算等技术的融合和发展,其目标是用户通过网格能够在任何时间、任何地点最大限度地使用虚拟资源池,处理大规模计算问题。

    云计算的定义

    2006年,27岁的Google高级工程师克里斯托夫·比希利亚第一次向Google董事长兼CEO施密特提出“云计算”的想法。在施密特的支持下,Google推出了“Google 101 计划”(该计划的目的是让高校的学生参与到云的开发),并正式提出“云”的概念。

    对于专业人员而言,云计算是分布式处理、并行处理和网格计算的发展,或者说是这些计算机科学概念的商业实现,是指基于互联网的超级计算模式,即把原本存储与个人计算机、移动设备等个人设备上的大量信息集中在一起,使其在强大的服务器端协同工作。

    目前比较权威的云计算定义是美国国家标准技术研究院NIST提出的:

    1. 云计算是一种利用互联网实现随时随地、按需、便携地访问共享资源池(如计算设施、存储设备、应用程序等)的计算模式。
    2. 云计算模式具有5个基本特征:按需自助服务、广泛的网络访问、共享的资源池、快速弹性能力、可度量的服务。
    3. 云计算有3种服务模式:软件即服务(SaaS)、平台即服务(PaaS)、基础设施即服务(IaaS)。
    4. 云计算有4种部署方式:私有云、社区云、公有云、混合云。

    云计算的分类

    基础设施即服务(IaaS)

    Iaas是云计算的基础,为上层云计算服务提供必要的硬件资源,同时在虚拟化技术的支持下,IaaS层可以实现硬件资源的按需分配,创建虚拟的计算、存储中心,使其能够把计算单元、存储器、I/O设备、带宽等计算机基础设施集中起来,成为一个虚拟的资源池来对外提供服务。虚拟化技术是IaaS的关键技术。

    平台即服务(PaaS)

    一些大型电子商务企业为支持搜索引擎和电子邮件服务等需要海量数据处理能力的应用,开发了分布式并行技术的平台,在技术和经验有一定积累后,逐步将平台能力作为软件开发和支付的环境进行开放。PaaS层需要具备存储与处理海量数据的能力,用于支撑SaaS层提供的各种应用。因此PaaS的关键技术包括并行编程模型、海量数据库、资源调度与监控、超大型分布式文件系统等分布式并行计算平台技术。

    软件即服务(SaaS)

    云计算要求硬件资源和软件资源能够更好地被共享,具有良好的伸缩性,任何一个用户都能够按照自己的需求进行定制而不影响其他用户的使用。软件资源共享则是SaaS的服务目的,用户可以使用按需定制的软件服务,通过浏览器访问所需的服务,而不需要安装此类软件。SaaS层部署在PaaS和IaaS平台之上,同时用户可以在PaaS平台上开发并部署SaaS服务。

    ·

    云计算关键技术

    体系结构

    云计算可以按需提供弹性的服务,体系结构大致分为3个层次:核心服务层、服务管理层、用户访问接口层。

    核心服务层

    1. IaaS提供硬件基础设施部署服务,为用户按需提供实体或虚拟的计算、存储和网络等资源。
    2. PaaS是云计算应用程序运行环境,提供应用程序部署与管理服务。通过PaaS层的软件工具和开发语言,应用程序开发者只需上传程序代码和数据即可使用服务,而不必关注底层的网络、存储、操作系统的管理问题。
    3. SaaS是基于云计算基础平台所开发的应用程序。企业可以通过租用SaaS层服务解决企业信息化问题,如企业通过Gmail建立属于该企业的电子邮件服务。

    服务管理层

    数据管理层为核心服务层的可用性、可靠性和安全性提供保障。服务管理包括服务质量保证和安全管理等。除了QoS保证、安全管理外,服务管理层还包括计费管理、资源监控等管理内容,这些管理措施对云计算的稳定运行同样起到重要作用。

    用户访问接口层

    用户访问结构层实现了云计算服务的泛在访问,通常包括命令行、Web服务、Web门户等形式。

    数据存储

    云计算环境下的数据存储,通常称为海量数据存储或大数据存储。传统的关系数据库中强调事务的ACID特性,即原子性、一致性、隔离性和持久性,对数据的一致性的严格要求使其在很多分布式场景中无法应用。在这种情况下,出现了基于BASE特性的新型数据库,即只要满足basically available(基本可用)、soft state(柔性状态)和eventually consistent(最终一致性)。从分布式领域的著名CAP理论角度来看,ACID追求一致性,而BASE更加关注可用性。

    计算模型

    云计算的计算模型是一种可编程的并行计算框架,需要高扩展性和容错性支持。由于PaaS平台部署于大规模硬件资源上,因此海量数据的分析处理需要抽象处理过程,并要求其编程模型支持规模扩展,屏蔽底层细节并且简单有效。

    MapReduce是Google提出的并行程序编程模型,运行于GFS之上。MapReduce的设计思想在于将问题分而治之,首先将用户的原始数据源进行分块,然后分别交给不同的Map任务去处理。Map任务从输入中解析出键值对集合,然后对这些集合执行用户自行定义的Map函数得到中间结果,并将该结果写入本地硬盘。Reduce任务从硬盘上读取数据之后会根据键值进行排序,将具有相同键值的数据组织在一起。最后应用用户自定义的Reduce函数处理这些排好序的结果并输出最终结果。

    资源调度

    海量数据处理平台的大规模性给资源管理与调度带来挑战。云计算平台的资源调度包括异构资源管理、资源合理调度与分配等。目前对于云计算资源管理方面进行的研究主要集中在减低数据中心能耗、提高系统资源利用率等方面。

    虚拟化

    云计算的发展离不开虚拟化技术。虚拟化技术可以将物理上的单台服务器虚拟成逻辑上的多台服务器环境,可以修改单台虚拟机的分配CPU、内存空间、硬盘等,每台虚拟机逻辑上可以被单独作为服务器使用。通过这种分科行为,将闲置或出于低峰的服务器使用起来,使数据中心为云计算提供大规模资源,通过虚拟化技术实现基础设施服务的按需分配。

    ·

    Google云计算原理

    Google公司有一套专属的云计算平台,这个平台最初是为Google公司的搜索应用提供服务,现在已经扩展到其他应用程序。Google的云计算基础架构模式包括4个相互独立又紧密结合在一起的系统:Google File System分布式文件系统(GFS)、分布式的锁机制Chubby、Google开发的模型简化的大规模分布式数据库BigTable以及针对Google应用程序的特点提出的MapReduce编程模式。

    GFS

    网页搜索业务需要海量的数据存储,同时还需要满足高可用性、高可靠性和经济性等要求。为此,Google基于一下假设开发了分布式文件系统——Google File System(GFS)

    1. 硬件故障是常态,充分考虑到大量结点的失效问题,需要通过软件将容错以及自动恢复功能集成在系统中。
    2. 支持大数据集,系统平台需要支持海量大文件的存储,文件大小通常以G字节计,并包含大量小文件。
    3. 一次写入、多次读取的处理模式,充分考虑应用的特性,增加文件追加操作,优化顺序读写速度。
    4. 高并发行,系统平台需要支持多个客户端同时对某一个文件的追加写入操作,这些客户端可能分布在几百个不同的结点上,同时需要以最小的开销保证写入操作的原子性。

    MapReduce

    为了解决大规模并行计算的编程、数据分发和容错处理等问题,Google公司的Jeffery Dean设计了一个新的抽象模型MapReduce,只需执行简单的计算,同时可隐藏并行化、容错、数据分布、负载均衡等杂乱的细节。MapReduce是一个编程模型,也是处理和生成超大数据集的算法模型的相关实现。

    BigTable

    由于Google的许多应用需要管理大量的格式化以及半格式化数据,它们的共同特点是需要支持海量的数据存储,读取后进行大量的分析,数据的读操作频率远大于数据的更新频率等,为此Google开发了满足弱一致性的大规模数据库系统——BigTable。

    BigTable针对数据读操作进行了优化,采用基于列存储的分布式数据管理模式以提高数据读取效率。BigTable的基本元素是行、列、记录板和时间戳,行建和列建都是字节串,时间戳是64位整型,可以用(row: string, column: string, time: int64)-> string来表示一条键值对记录。其中,记录板Table就是一段行的集合体。

    展开全文
  • 云计算第二版教材配套课件2第二章Google云计算原理与应用.ppt
  • 云计算原理与实践;云计算原理与实践课程总览;Outline;9.1 计算机软件与操作系统;9.1.1 计算机软件的发展;9.1.1 计算机软件的发展;图9.1 操作系统结构的3个层次;9.1.2 操作系统的发展简史;9.1.2 操作系统的发展简史;...
  • Google云计算原理与应用提 纲? Google文件系统GFS ? 分布式数据处理MapReduce ? 分布式锁服务Chubby ? 分布式结构化数据表Bigtable ? 分布式存储系统Megastore ? 大规模分布式系统的监控基础架构Dapper? Google应用...
  • Google云计算原理与应用单个Master对于前两种元数据GFS通过操作日志来提供容错功能 第三种元数据信息保存在各个Chunk Server上Master故障时磁盘恢复 GFS还提供了Master远程的实时备份,防止Master彻底死机的情况Name ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 43,209
精华内容 17,283
关键字:

云计算原理