精华内容
下载资源
问答
  • 人工智能与云计算的融合应用-人工智能论文-计算机论文 文章均为WORD文档下载后可直接编辑使用亦可打印 关键词大数据人工智能云计算 近年来互联网技术得到了突飞猛进的发展科技浪潮为人工智能云计算和大数据等方面...
  • 一、对云计算概念的理解及云计算的当前发展状况 ...从广义上说,云计算信息技术、软件、互联网相关的一种服务,这种计算资源共享池叫做“云”,云计算把许多计算资源集合起来,通过软件实现自动化管理

    一、对云计算概念的理解及云计算的当前发展状况
    (1)对云计算概念的理解:
    云计算不是一种技术,它是一种概念。“云”实质上就是一个网络,狭义上讲,云计算就是一种提供资源的网络,使用者可以随时获取“云”上的资源,按需求量使用,并且可以看成是无限扩展的,只要按使用量付费就可以,“云”就像自来水厂一样,我们可以随时接水,并且不限量,按照自己家的用水量,付费给自来水厂就可以。
    从广义上说,云计算是与信息技术、软件、互联网相关的一种服务,这种计算资源共享池叫做“云”,云计算把许多计算资源集合起来,通过软件实现自动化管理,只需要很少的人参与,就能让资源被快速提供。也就是说,计算能力作为一种商品,可以在互联网上流通,就像水、电、煤气一样,可以方便地取用,且价格较为低廉。总之,云计算不是一种全新的网络技术,而是一种全新的网络应用概念,云计算的核心概念就是以互联网为中心,在网站上提供快速且安全的云计算服务与数据存储,让每一个使用互联网的人都可以使用网络上的庞大计算资源与数据中心。
    云计算是继互联网、计算机后在信息时代有一种新的革新,云计算是信息时代的一个大飞跃,未来的时代可能是云计算的时代,虽然目前有关云计算的定义有很多,但总体上来说,云计算虽然有许多得含义,但概括来说,云计算的基本含义是一致的,即云计算具有很强的扩展性和需要性,可以为用户提供一种全新的体验,云计算的核心是可以将很多的计算机资源协调在一起,因此,使用户通过网络就可以获取到无限的资源,同时获取的资源不受时间和空间的限制。

    在这里插入图片描述

    (2)云计算的当前发展状况:

    云计算已经从新颖的概念,发展成为许多企业首选的组织模式。从共享文档到智能手机数据备份,到服务器数据云端调度,云计算从技术层面开始越来越多地触动我们的生活。云计算正快速成为帮助个人和企业真正高效运作的有力的生产工具。
      一、市场规模。据Global Industry Analysts报告显示,到2017年,全球市场云计算服务规模将达到1270亿美元。其中SaaS服务,将从2011年的135亿美元在2016年增长至328亿美元。
      二、云计算正在改变软件部署模型,其中关键因素之一是它改变了许多关键的许可和交付模式的企业工具。云也改变了其他工具和服务,平台即服务(PaaS),基础设施即服务(IaaS)和数据库即服务(DBaaS)是基于云计算的部署模型在企业的一些应用。
    三、云计算能够帮助节约成本,这也是很多组织采用云产品的原因之一。例如,相比从前高昂的网站服务器托管价格,作为云计算的基础设施部署,云服务器价格相对低廉且具有弹性合理的计费模式。调查研究表明,对于成本和时间的节省,是致使企业选择云计算的最重要的因素。
    四、系统集成商。系统集成商可以帮助用户来构建云计算的相关软硬件平台,尤其是相关企业具有的私有云。相关代表厂商包括Google、Amazon、Oracle、 Sun、IBM、 HP等。Oracle 2005年用58亿美元成功收购了Siebel 公司,从而举进入了云计算领域前列。自从Oracle收购Sun之后,开发了利用Sun服务器作为相应硬件、使用Java来作为基础架构的一种编程工具。Oracle 可以支持数据中心按需提供相应服务,开发的“POD”架构。

    五、服务提供商和电信运营商。这一领域包含了为企业以及个人用户供应计算及存储资源的IaaS公司,例如提供新型数据中心服务的GoGrid、Amazon,电信运营商AT&T、Verizon等,还有为应用开发者提供相应开发平台的PaaS公司譬如微软Azure、Force.com 以及GoogleApp等。
    

    二、OpenStack各个项目的功能及他们之间的关系

    (1)OpenStack各个项目的功能
    OpenStack的基础管理服务包含Keystone,Glance,Nova,Neutron,Horizon五个服务。
      Keystone:认证管理服务,提供了其余所有组件的认证信息/令牌的管理,创建,修改等等,使用MySQL作为统一的数据库。
      Glance:镜像管理服务,提供了对虚拟机部署的时候所能提供的镜像的管理,包含镜像的导入,格式,以及制作相应的模板。
      Nova:计算管理服务,提供了对计算节点的Nova的管理,使用Nova-API进行通信。
      Neutron:网络管理服务,提供了对网络节点的网络拓扑管理,同时提供Neutron在Horizon的管理面板。
      Horizon:控制台服务,提供了以Web的形式对所有节点的所有服务的管理,通常把该服务称为DashBoard。

    OpenStack的扩展管理服务包含Cinder,Swift,Trove,Heat,Centimeter五个服务。
      Cinder:提供管理存储节点的Cinder相关,同时提供Cinder在Horizo中的管理面板。
      Swift:提供管理存储节点的Swift相关,同时提供Swift在Horizon中的管理面板。
      Heat:提供了基于模板来实现云环境中资源的初始化,依赖关系处理,部署等基本操作,也可以解决自动收缩,负载均衡等高级特性。
    OpenStack的网络节点仅包含Neutron服务。
    Neutron:负责管理私有网段与公有网段的通信,以及管理虚拟机网络之间的通信/拓扑,管理虚拟机之上的防火等等
    其中网络节点包含三个网络端口。
    OpenStack的计算节点包含Nova,Neutron,Telemeter三个服务。
    1)基础服务
    Nova:提供虚拟机的创建,运行,迁移,快照等各种围绕虚拟机的服务,并提供API与控制节点对接,由控制节点下发任务。
    Neutron:提供计算节点与网络节点之间的通信服务。
    2)扩展服务
      Telmeter:提供计算节点的监控代理,将虚拟机的情况反馈给控制节点,是Centimeter的代理服务。

    OpenStack的存储节点包含Cinder,Swift等服务。
    Cinder:块存储服务,提供相应的块存储,简单来说,就是虚拟出一块磁盘,可以挂载到相应的虚拟机之上,不受文件系统等因素影响,对虚拟机来说,这个操作就像是新加了一块硬盘,可以完成对磁盘的任何操作,包括挂载,卸载,格式化,转换文件系统等等操作,大多应用于虚拟机空间不足的情况下的空间扩容等等。
    Swift:对象存储服务,提供相应的对象存储,简单来说,就是虚拟出一块磁盘空间,可以在这个空间当中存放文件,也仅仅只能存放文件,不能进行格式化,转换文件系统,大多应用于云磁盘/文件。

    (2)Openstack各个组件之间的关系
    E 版本有5个组件

    Compute 是 Nova;Image 是 Glance,为 Nova 提供镜像存储服务;Object 是提供 Object 存储服务的 Swift;Dashboard 是我们平时说的 Horizon;Identity 是 Keystone;
    F版本有7各组件,核心组件:

    有这七个组件可以搭出一个相对完整的云计算环境,Heat、Sahala 是可选的;相对 E 版本,新增加的两个组件分别是 Block Storage Cinder 和 Network Neutron,这两个组件和 Glance,Swift 之间没有直接的联系,实际上是从 Compute Network 和 Compute Volume 发展出来的,Neutron 组件并没有直接的去替换 Compute Network,它是一个相对独立的,也是非常著名的 SDN 的一个项目,它为 Compute 提供网络连接,提供网络的资源管理这样一些服务,Block Storage(也就是 Cinder)为 Compute 提供块存储服务,替换了 Compute Volume.

    三、实验完成情况:
    在这里插入图片描述

    (1)完成到那一部分并简述遇到的问题
    本学期课程的学习我的Openstact搭建到了6.1章。
    当我做到安装NFS软件包的时候,下载不成功,后来发现没有挂载HDFS导致下载失败,但因为时间不够的原因没有继续往下做,如果再给我一点时间我相信我一定可以全部完成。

    在这里插入图片描述

    (2)已完成的部分遇到的问题
    在这里插入图片描述
    在这里插入图片描述

    当我配置IP地址的时候,只有controller和network可以ping通,controller和compute1、compute2不能ping通,后来换了IP地址可以ping通了,原来是老师分配的IP地址有人误用了,导致冲突。
    还有就是遇到了下面两个截图的问题。
    在这里插入图片描述
    在这里插入图片描述

    后来发现是因为安装NFS软件包失败的一系列后续错误。

    展开全文
  • PAGE PAGE 11 课程标准 所属系部信息工程系 课程名称云计算导论 课程性质专业必修课 课程学时64 适用专业云计算技术与应用 云计算导论课程标准 1课程概述 1.1 课程定位 云计算导论是云计算技术与应用的专业必修课是...
  • 云计算与云数据管理技术研究的论文 近年来随着科技水平的不断提高信息数据量不断增大并且具有快速的增长速度用户对于计算机的存储能力提出了更高的要求而三网融合物联网智能电网等应用的快速发展对于计算和数据管理...
  • 云计算环境下网络技术研究论文 引言 云计算是一种...1云计算技术的研究 云计算的计算方式是利用互联网在各种网络技术如计算机网络通信技术的综合应用下实现的云计算获得数据及信息的方法主要是利用互联网相连接的硬件
  • 网络安全通信技术研究在维护网络安全中应用计算机信息管理技术云计算模式下计算机网络安全储存研究 摘要计算机技术的快速发展及网络技术的普及在给人们带来巨大的便利的同时网络攻击也日益加剧而有害信息传播手段...
  • 基于云计算分布式系统性能测试技术研究与应用 东华大学学位论文原创性声明 本人郑重声明我恪守学术道德崇尚严谨学风所呈交的学位论文是本 人在导师的指导下独立进行研究工作所取得的成果除文中已明确注明和引用 的...
  • 云计算与软件开发架构设计研究实时软件开发方法思考高职软件技术教学改革 光纤通信多媒体技术大数据存储等技术的快速改进为云计算应用和发展提供了强大的基础云计算可以将软硬件资源虚拟化实现信息分片存储和计算...
  • 在深入研究相关技术的基础上, 独立自主地开发具有自主产权的基于物联网与云计算技术的农业创新网络平台, 建成集数据采集、数字传输、数据分析处理、数控农业机械为一体的新型农业生产管理体系; 弥补国内农业物联网...
  • 云计算与大数据

    2020-10-27 21:36:08
    云计算技术发展背景 近年来,云技术迅速发展,其主要是用来解决...此外,云计算技术也可以说是这些技术的整合和升级,国内关于云计算的相关研究主要集中在云计算的特点、相关概念以及具体应用论文在此对云计算的...
                                                    云计算技术发展背景
           近年来,云技术迅速发展,其主要是用来解决网络中存在的各种各样的问题,从某种意义上说,云计算是网络发展的一种产物。自从云计算技术诞生以来,其在效用计算、网络计算、分布式系统技术以及集群技术等领域中得到了广泛的应用,并且为网络和社会带来了新的融合点。此外,云计算技术也可以说是这些技术的整合和升级,国内关于云计算的相关研究主要集中在云计算的特点、相关概念以及具体应用,论文在此对云计算的发展做出了一定的分析。
    
    
    
    在信息和互联网时代,云计算逐渐发展起来,其是经济发展的必然趋势,同时其内涵中的条件具有一定的革命性。在互联网应用中,云计算技术能够为其提供更好的服务理念,能够在很大程度上提升网页的浏览速度以及文件的搜索速度,具有更加方便快捷的优势,且应用云计算技术能够使用户在访问互联网以及浏览时不受到时间以及空间的限制,通常称这种服务模式为软件及服务。从某种角度上说,云计算可以看作是互联网,这可以从企业的数据分布得出,因而云计算在发展中具有明显的商业特征,能够在很大程度上反映一定的经济价值。由于云计算可以实现分布计算,因而企业能够将有用的资源转化为存储系统以及计算机中的应用程序。②云计算平台的特点。计算机中的云计算平台能够为用户提供不同的服务类型和目标,在应用云计算平台时,其主要有以下几个特点:首先,在云计算平台中,网络中的用户与底层的物理实现之间并没有直接的联系,用户也不需要对平台以及应用软件的组成和结构进行详细的了解,只需要直接使用和调用平台即可。其次,云计算平台的基础是大规模的网络以及数据中心,用户在使用云计算平台的过程中,能够接触到大量的云资源,同时能够享受到优越性能的计算服务[1]。最后,云计算平台在实际应用中非常广泛,同时能够依据不同系统的实际需求对自身平台规模进行调整。此外,云计算平台能够将云平台技术和计算机虚拟化技术结合起来,不仅降低了系统的运行和维护成本,还能满足用户的不同需求。③发展背景。云计算是在网络技术的应用、发展以及普及的条件下发展起来的,尤其是web2.0等相关网络技术,是云计算技术的发展基础。云计算技术已经改变了传统的网络商业模式,通常来说,对一般的商业化网站,要想对其进行市场调研、后期维护以及维护系统硬件等,需要耗费很大的人力和物力,需要强大的工作团队对网站中软件系统和硬件系统进行全面管理,且随着获利范围的增大,网站发展越来越不平衡。因而由于这种传统的计算机模型中存在众多苦难和问题,才逐渐促进了云计算技术的发展。传统计算机模型中存在的问题主要有:一是服务支持平台不能根据用户需求不断变化进行规模的调整,缺乏一定的伸缩性,同时很难根据用户需求的变化进行适时的调整。二是成本投入过大,尤其是在底层基础设施方面,在一定程度上限制了网络运营商的快速起步能力。三是要想实现定型服务,服务商需要对其进行长期的维护,降低了服务商开发新业务的速度,因而需要应用云计算平台,其灵活性以及可靠性较高,且具有很大的伸缩性,这些都可以降低服务成本,同时其能够依据业务量的变化对服务支持平台规模进行适当的调整,方便计算机提供商对基础设施进行维护。四是在地层测试开发过程中需要投入大量的成本,且开发时间很长,整体效益低下,这也为云计算技术的发展提供了条件。
    
    
    云计算技术的优势和具体运用
    
    
    在实际应用过程中,采用云计算技术具有很多优势,比如:用户在使用云计算技术的过程中不会出现资源闲置或过载等问题,用户数据具有更高的安全性,同时通过利用云计算技术,数据备份和权限管理将更加完善,能够保证用户在使用过程中对数据的安全性进行有效的保障,这些都能够提高用户的使用效率[2]。云计算技术的主要功能是通过在云端存储并在云端中运行,这种运行模式能够在很大程度上降低用户在应用云计算技术的同时对自身硬件的要求。此外,在应用云计算技术的过程中,该技术能够对当前大部分设备进行识别和访问,能够依据设备的具体功能进行相应的操作,因而云计算技术的应用范围越来越广泛。云计算技术主要包括云存储、云安全以及云产品等具体应用。
    
    展开全文
  • 1959 年,英国计算机科学家 Christopher Strachey 发表关于虚拟化论文,其虚拟化理论是如今云计算基础架构的基础理论之一。 1961 年,计算机科学家 John McCarthy 发表公开演说,“如果计算机在未...

    8.1云计算概念
    8.1.1云计算的起源
    951 年,UNIVAC-1 诞生,这是世界上第一台商用计算机系统,被用来进行美国人口普查,正式标志着计算机进入商业应用时代。
    1959 年,英国计算机科学家 Christopher Strachey 发表关于虚拟化论文,其虚拟化理论是如今云计算基础架构的基础理论之一。
    1961 年,计算机科学家 John McCarthy 发表公开演说,“如果计算机在未来流行开来,那么未来计算机也可以像电话一样成为共用设施……计算机应用也将成为一种全新的、重要的产业基石。”
    1969 年,ARPANET 项目的首席科学家 Leonard Kleinrock 表示 “计算机网络现在还处于初期阶段,但随着网络的进步和复杂化,未来可能看到’ 计算机应用’ 的扩展……”
    1984 年,Sun 公司的联合创始人 JohnGage 说出 “网络就是计算机” 的猜想,用于描述分布式计算技术带来的新世界,今天的云计算发展也证实了这一猜想,并逐步地将这一理念变成现实。
    1996 年,网格计算 Globus 开源网格平台起步,网格技术也被普遍认为是云计算技术的前身技术之一。
    1998 年,VMware(威睿公司)成立并首次引入 X86 的虚拟技术。
    1999 年,MarcAndreessen 创建 LoudCloud,是世界上第一个商业化的 IaaS 平台。
    2004 年,Web2.0 会议举行,Web2.0 成为技术流行词,互联网发展进入新阶段。
    2006 年,“云计算” 这一术语正式出现在商业领域,Google 的 CEO 在搜索引擎大会上提出云计算 Amazon 推出其弹性计算云(EC2)服务。
    2008 年,中国第一个获得自主知识产权的基础架构云(IaaS)产品 BingoCloudOS(品高云)发行 1.0 版。
    2009 年,NIST(美国国家标准与技术研究院)发布了被业界广泛接受的云计算定义 “……一种标准化的 IT 性能(服务、软件或者基础设施),以按使用付费和自助服务方式,通过 Internet 技术交付”。
    8.1.2云计算的定义
    云计算(cloudcomputing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。狭义云计算指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关,也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。
    中国网格计算、云计算专家刘鹏定义云计算为:
    云计算将计算任务发布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。
    ForresterResearch的分析师JamesStaten定义云计算为:
    云计算是一个具备高度扩展性和管理性并能够胜任终端用户应用软件计算基础架构的系统池。
    8.1.3云计算的分类
    1、SaaS(software as a service,软件即服务)。SaaS是Software-as-a-Service(软件即服务)的简称,随着互联网技术的发展和应用软件的成熟, 在21世纪开始兴起的一种完全创新的软件应用模式。
    2、IaaS(infrastructure as a service,基础设施即服务)。提供给消费者的服务是对所有计算基础设施的利用,包括处理CPU、内存、存储、网络和其它基本的计算资源,用户能够部署和运行任意软件,包括操作系统和应用程序。消费者不管理或控制任何云计算基础设施,但能控制操作系统的选择、存储空间、部署的应用,也有可能获得有限制的网络组件(例如路由器、防火墙、负载均衡器等)的控制。
    3、PaaS(platform as a service,平台即服务)。PaaS实际上是指将软件研发的平台(计世资讯定义为业务基础平台)作为一种服务,以SaaS的模式提交给用户。因此,PaaS也是SaaS模式的一种应用。但是,PaaS的出现可以加快SaaS的发展,尤其是加快SaaS应用的开发速度。在2007年国内外SaaS厂商先后推出自己的PAAS平台。
    4、FaaS(functions as a service,功能即服务)。FaaS,无服务器计算的云实例化,为PaaS增加了另一个抽象层,以便开发人员在堆栈中完全隔绝一切优先级低于他们代码的东西。不是去搞虚拟服务器、容器和应用运行时间,而是上传功能代码块,让它们被某个事件触发(例如表单提交或上传文件)。所有主要云都会在IaaS之上提供FaaS:AWS Lambda、Azure Functions、谷歌云Functions以及IBM OpenWhisk.FaaS应用的一个特殊的好处是,在事件发生之前不会使用IaaS资源,可通过降低资源使用率来减少费用。
    5、iPaaS(integration platform as a service,集成平台即服务)。数据集成是任何具备一定规模的公司的一个关键问题,尤其对于那些大规模采用SaaS的企业而言。iPaaS供应商通常提供预先构建的连接器,为流行的SaaS应用程序和本地企业应用程序之间提供共享数据,尽管供应商可能或多或少地关注B2B电子商务集成、云集成或传SOA风格的集成。
    6、IDaaS(identity as a service,身份即服务)。在私有数据中心和公有云网站上,与云计算相关的最大的安全问题就是管理用户身份及其相关权利和权限。IDaaS供应商保持基于云计算的用户配置文件,验证用户身份,并使访问资源或应用程序基于安全策略、用户组和个人的特权。能够集成各种目录服务(Active directory LDAP,等等),而且这是至关重要的。
    7、协作平台(Collaboration platforms)。协作解决方案如Slack、微软Teams和HipChat已经成为重要的信息沟通平台,是组织内部能够有效地沟通和合作。基本上,这些解决方案是相对简单的SaaS应用程序,支持聊天形式的消息传递以及文件共享和音视频交流。大多数提供API来促进与其他系统的集成,使第三方开发者创建和共享插件,增强功能。
    8、私有云(Private Clouds)。私有云是为一个客户单独使用而构建的,因而提供对数据、安全性和服务质量的最有效控制。该公司拥有基础设施,并可以控制在此基础设施上部署应用程序的方式。私有云可部署在企业数据中心的防火墙内,也可以将它们部署在一个安全的主机托管场所,私有云的核心属性是专有资源。
    9、公有云。公有云通常指第三方提供商为用户提供的能够使用的云,公有云一般可通过 Internet 使用,可能是免费或成本低廉的,公有云的核心属性是共享资源服务。这种云有许多实例,可在当今整个开放的公有网络中提供服务。
    10、混合云。混合云融合了公有云和私有云,是近年来云计算的主要模式和发展方向。我们已经知道私有云主要是面向企业用户,出于安全考虑,企业更愿意将数据存放在私有云中,但是同时又希望可以获得公有云的计算资源,在这种情况下混合云被越来越多的采用,它将公有云和私有云进行混合和匹配,以获得最佳的效果,这种个性化的解决方案,达到了既省钱又安全的目的。
    11、垂直云(Vertical clouds),也叫垂直SaaS,在金融、医疗、零售、生命科学和制造行业等提供SaaS服务。垂直 SaaS 来源于微观经济学中的垂直整合概念。在一个十字坐标轴中,Y 轴代表公司 A 的供应链(针对不同类型的客户,公司 A 的 销售方案完全不同)解决方案,X 轴代表市场中每种潜在的客户类型。如果做平行 积分(沿着 X 轴去做积分),意味着公司 A 坚持做到自己能够做的(生产,物流, 销售),即尽可能多的获取客户即可。但如果做垂直积分(即沿着 Y 轴去做积分), 公司 A 需要更多的去关注如何把某一种类型的客户服务好。在这样的场景下,垂直 SaaS 公司需要集中精力服务于特定类型的行业客户,同时提供更加贴身、有针对性 的行业解决方案去获得市场份额。
    8.1.4云计算与其他计算形式
    云计算与传统计算的资源集约方式不一样,还有计算规模与效果也是不一样的。云计算是通过资源集约方式进行配置的,而传统服务IDC服务也在一定程度上实现集约化处理,但是这两种集约处理方式有很大不同。云计算的资源分配是没有任何停滞的,这是计算方式部署与设备配置的因素,原来的传统计算可能会一直数小时或是数天时间,这种计算方式会直接增加企业的计算使用成本,而快速且合理的资源分配可避免出现资源浪费。
    8.2云计算的关键技术
    8.2.1体系结构
    伴随着信息技术的不断发展,信息技术已被应用到各行各业,乃至人们的日常生活当中。云计算的核心是一种基于互联网的计算模式,这种模式既包括系统的设计开发时,也涵盖系统运行时。总的来说,云计算包括4大核心技术:

    (1)虚拟化技术

    实现云计算的重要技术支持就是虚拟化技术。虚拟化技术实现了物理资源的逻辑抽象和统一表示,产生了一个虚拟(非实在)的东西,各种不同的软硬件资源就可以形成一个虚拟的资源池,用户和业务应用就能更有效地使用这个资源池,通过虚拟化技术可以提高资源的利用率,且能够按照用户需求变化,快速有效地进行资源部署。

    (2)数据存储技术

    从安全、经济适用的角度来看,分布式存储方式无疑是云存储的最佳选择,采用多个副本存储同一数据或采用多份备份法,在服务上则采取并行的方法为用户提供所需服务,此外,高传输率也是云计算数据存储技术的一大特色。目前,采用这种数据存储技术的服务商有Google、英特尔等。

    (3)大规模数据管理技术

    云技术能对海量的数据进行处理、利用的前提是,数据管理技术必须具备高效的管理大量的数据的能力。目前,云计算系统中的数据管理技术主要是Google的Big Table数据管理技术和Hadoop开发的开源数据管理模块HBase。

    (4)编程模型

    要使用户能够简便、轻松的获取云环境下的编程服务,编程模型必须具备简洁易操作的性能,那样,用户只要通过简单程序编写就能达成既定的目标。此外,编程模型后台复杂的并行执行、任务调度向用户和编程人员保持透明,又是该服务的一大特色。例如Google构造的Map Reduce编程规范就可满足上述要求,过Map和Reduce两个简单概念构成基本的运算单元便可以并行处理海量的数据。Map Reduce既满足了编程模型需要,也满足了任务调度模型的需求,目前使用较广泛。
    8.3Google云计算原理
    8.3.1GFS
    Google文件系统(Google File System,GFS)是一个大型的分布式文件系统。它为Google云计算提供海量存储,并且与Chubby、MapReduce以及Bigtable等技术结合十分紧密,处于所有核心技术的底层。由于GFS并不是一个开源的系统,我们仅仅能从Google公布的技术文档来获得一点了解,而无法进行深入的研究。文献[1]是Google公布的关于GFS的最为详尽的技术文档,它从GFS产生的背景、特点、系统框架、性能测试等方面进行了详细的阐述。
    当前主流分布式文件系统有RedHat的GFS[3](Global File System)、IBM的GPFS[4]、Sun的Lustre[5]等。这些系统通常用于高性能计算或大型数据中心,对硬件设施条件要求较高。以Lustre文件系统为例,它只对元数据管理器MDS提供容错解决方案,而对于具体的数据存储节点OST来说,则依赖其自身来解决容错的问题。例如,Lustre推荐OST节点采用RAID技术或SAN存储区域网来容错,但由于Lustre自身不能提供数据存储的容错,一旦OST发生故障就无法恢复,因此对OST的稳定性就提出了相当高的要求,从而大大增加了存储的成本,而且成本会随着规模的扩大线性增长。
    正如李开复所说的那样,创新固然重要,但有用的创新更重要。创新的价值,取决于一项创新在新颖、有用和可行性这三个方面的综合表现。Google GFS的新颖之处并不在于它采用了多么令人惊讶的技术,而在于它采用廉价的商用机器构建分布式文件系统,同时将GFS的设计与Google应用的特点紧密结合,并简化其实现,使之可行,最终达到创意新颖、有用、可行的完美组合。GFS使用廉价的商用机器构建分布式文件系统,将容错的任务交由文件系统来完成,利用软件的方法解决系统可靠性问题,这样可以使得存储的成本成倍下降。由于GFS中服务器数目众多,在GFS中服务器死机是经常发生事情,甚至都不应当将其视为异常现象,那么如何在频繁的故障中确保数据存储的安全、保证提供不间断的数据存储服务是GFS最核心的问题。GFS的精彩在于它采用了多种方法,从多个角度,使用不同的容错措施来确保整个系统的可靠性。
    8.3.2MapReduce
    MapReduce是Google提出的一个软件架构,是一种处理海量数据的并行编程模式,用于大规模数据集(通常大于1TB)的并行运算。“Map(映射)”、“Reduce(化简)”的概念和主要思想,都是从函数式编程语言和矢量编程语言借鉴来的[5]。正是由于MapReduce有函数式和矢量编程语言的共性,使得这种编程模式特别适合于非结构化和结构化的海量数据的搜索、挖掘、分析与机器智能学习等。
    8.3.3Bigtable
    Bigtable是Google开发的基于GFS和Chubby的分布式存储系统。Google的很多数据,包括Web索引、卫星图像数据等在内的海量结构化和半结构化数据,都是存储在Bigtable中的。从实现上来看,Bigtable并没有什么全新的技术,但是如何选择合适的技术并将这些技术高效、巧妙地结合在一起恰恰是最大的难点。Google的工程师通过研究以及大量的实践,完美实现了相关技术的选择及融合。Bigtable在很多方面和数据库类似,但它并不是真正意义上的数据库。通过本节的学习,读者将会对Bigtable的数据模型、系统架构、实现以及它使用的一些数据库技术有一个全面的认识。
    8.4Amazon云服务
    8.4.1Amazon云平台储存架构
    8.4.2其他组件
    8.5云计算研究与发展方向
    8.5.1云资源调度任务调度
    随着业务的发展,越来越多的企业或组织开始采用基于多数据中心的云环境甚至多云环境为用户提供服务。多数据中心或多云可以为不同地理位置的用户提供时延更短、带宽更高、成本更低的服务,同时多数据中心间可构建互为容灾备份机制,从而提供高可靠的服务。多数据中心在提供更好的服务性能的同时,也增加了云应用管理的复杂性和挑战性。一方面,多数据中心环境将出现大规模的用户到数据中心(U2D)和数据中心到数据中心(D2D)的任务,这些任务通常包含大量待处理数据,有较高的计算、存储、网络等多维资源的需求。另一方面,多数据中心或多云环境存在大量不同类型、不同粒度的异构资源,这些资源的配置、性能、费用模型都不尽相同。
    8.5.2云计算能耗管理
    云计算系统任务调度的过程可描述为:不同类型任务以不同的速率随机到达系统,调度器则根据任务类型、任务到达时机、系统中所有计算机当前的执行状态等信息对任务进行合理映射,最后调度执行 目的是降低系统运行过程中产生的空闲能耗和执行能耗 本文暂不考虑云计算系统中与通信相关的能耗和时间开销
    8 .5.3基于云计算的应用
    8.5.4云计算安全
    云计算安全或云安全指一系列用于保护云计算数据、应用和相关结构的策略、技术和控制的集合,属于计算机安全、网络安全的子领域,或更广泛地说属于信息安全的子领域。

    展开全文
  • 人工智能在计算机网络技术中的应用计算机网络印刷企业管理工作研究云计算环境下计算机网络安全分析 当前我国社会经济科学技术进一步发展有效提升了自身的计算机技术水平特别是在大数据时代的背景下人工智能开始...
  • 浅析云计算在企业管理会计中的作用及其应用论文 引言 科技的迅速发展带来了各种先进技术云计算这一新兴的计算方式凭借其高效灵活的特点被运用到人们生活的各个方面其不但节约了信息化的成本也加强了工作人员之间的...
  • 虚拟化与云计算技术在高校中的应用优势前景分析* Virtualization and cloud computing technologies in the university's strengths and prospects of application* Abstract: There is no doubt, virtualization ...
  • 云计算与大数据在新冠防控中的应用 项目名称 信息新技术在新冠疫情中的应用 成果形式 论文 小组组长 小组成员 姓名学号 专业班级 软件1806 所在学院 计算机学院 2020年3月 云计算与大数据在新冠防控中的应用 摘 要在...
  • 兰州理工大学本科毕业论文设计开题报告 题 目 基于内部控制的云计算应用风险防范研究 学生姓名 专业 信息管理信息系统 班级 2006-2 指导教师 杨文黎 职称 讲师 一国内外研究现状及分析 一国外发展现状 2011年1月...
  • 云计算环境中的日志存储分析系统的设计实现,王超,徐鹏,随着云计算技术的发展,每天都有海量的数据在云中产生,如何处理云计算系统和云中应用产生的海量日志数据的采集,存储,分析成为
  • 一种基于Hadoop的云计算平台搭建性能调优方法,周磊,李昕,随着互联网技术的飞速发展和应用的推广,云计算正作为当前计算机技术的热点被越来越多的企业和科研机构研究和使用。Hadoop作为一个
  • 云计算的网络信息安全管理系统设计计算机网络信息安全分析计算机网络信息安全防护 伴随着云计算技术的迅猛发展在市面上早已出现了比较成功的研究成果和运用方式通过研究来设计出一种在云计算技术基础之上互联网...
  • 云计算和人工智能双技术应用的结果是,Smart MGA-MENA公司的运营服务,产品效率和更好的产品以及更多的客户满意服务得到了提高。 由此得出的结论是,像MGA-MENA这样的大型电信企业拥有庞大的客户群,每分钟都有大量...
  • 云计算是一种依靠共享虚拟资产而不是让附近的服务器或单个小工具来处理应用程序的计算。 技术正越来越多地迁移到云中。 这不仅仅是一种趋势,在过去十年中,从古老的包装模式向包装即服务的转变稳步发展。 展望未来...
  • 试论云计算环境下计算机网络安全 摘要:云计算在为用户提供便利的同时也给计算机网络用户...信息安全 随着大数据泛在计算云计算技术在计算机网络中的运用扩大了计算机网络的应用范围也加快了计算机网络在各行各业的应
  • Google的云计算技术实际上是针对Google特定的网络应用程序而定制的。针对内部网络数据规模超大的特点,Google提出了一整套基于分布式并行集群方式的基础架构,利用软件的能力来处理集群中经常发生的节点失效问题。从...
  • 云计算时代网络工程专业教学改革研究 摘要云计算技术的快速发展对地方本科院校网络工程专业传统教学模式提出了挑战研究将云计算的学习和应用融入地方本科院校的网络工程专业本科教学实践中提高地方本科院校学生学习...
  • 气象信息计算机软件技术的运用云计算智能输入法设计研究计算机软件技术教学研究(4篇) 1气象业务的现状和特征随着国家对气象工作越来越重视气象服务覆盖面不断扩大服务领域不断拓宽专业气象服务的针对性逐步增强重大...
  • 论文题目 学号 1526530127 班级 机中职 15- 1 姓名 张永齐 教师 王 伟 成绩 2016-11-20 浅谈云计算与机械行业 云计算 - 现在很流行的一个 IT 词语可能有很多人不是很了解通过看了大 师访谈 - 云计算了解了很多关于...
  • 37篇经过消化云计算论文打包下载

    热门讨论 2011-01-03 13:28:25
    这篇文章讨论了高性能标准测试应用程序在亚马逊EC2云计算系统中的性能。经过测试发现EC2云计算系统是一个可靠的解决方案,支持按需响应,小规模,高性能计算应用程序。 2、 Chukwa: A large-scale monitoring ...
  • 云计算的概念、原理和关键技术

    千次阅读 2020-06-03 18:53:14
    云计算是一种模型,实现无处不在的、方便、通过网络按需访问的可配置的共享计算资源池(例如,网络、服务器、存储、应用程序、服务),这些资源可以快速提供,通过最小化管理成本或服务提供商进行交互。...

    1

    云计算的定义

    NIST(美国国家标准及技术研究所)对云计算的定义:

     

    云计算是一种模型,实现无处不在的、方便、通过网络按需访问的可配置的共享计算资源池(例如,网络、服务器、存储、应用程序、服务),这些资源可以快速提供,通过最小化管理成本或与服务提供商进行交互

     

     

     

    2 云计算的发展

    1959年6月,Christopher Strachey发表虚拟化论文,虚拟化是今天云计算基础架构的基石。

    1984年,Sun公司的联合创始人John Gage说出了“网络就是计算机”的名言,用于描述分布式计算技术带来的新世界,今天的云计算正在将这一理念变成现实。

    1996年,网格计算Globus开源网格平台起步。

    1997年,南加州大学教授Ramnath K. Chellappa提出云计算的第一个学术定义”,认为计算的边界可以不是技术局限,而是经济合理性。

    1998年,VMware(威睿公司)成立并首次引入X86的虚拟技术。

    2005年,Amazon宣布Amazon Web Services云计算平台。

    2006年,Amazon相继推出在线存储服务S3和弹性计算云EC2等云服务。

    2006年,Sun推出基于云计算理论的“BlackBox”计划。

    2007年7月,亚马逊公司推出了简单队列服务(Simple Queue Service,SQS),这项服务使托管主机可以存储计算机之间发送的消息。2007年11月,IBM首次发布云计算商业解决方案,推出“蓝云”(Blue Cloud)计划。

    2008年1月,Salesforce.com推出了随需应变平台DevForce,Force.com平台是世界上第一个平台即服务的应用。

    2008年中,Gartner发布报告,认为云计算代表了计算的方向。

    2008年10月,微软发布其公共云计算平台——Windows Azure Platform,由此拉开了微软的云计算大幕。

    2009年1月,阿里软件在江苏南京建立首个“电子商务云计算中心”。

    2009年4月,VMware推出业界首款云操作系统VMware vSphere 4。

    2010年1月,Microsoft正式发布Microsoft Azure云平台服务。

    2010年5月,中国电信启动星云计划

    2010年10月,我国国家发展和改革委员会、工业和信息化部联合发布了《关于做好云计算服务创新发展试点示范工作的通知》,在北京、上海、深圳、杭州、无锡等五个城市先行开展云计算创新发展试点示范工作

    2011年1月,美国NIST发布了《The NIST Definition of Cloud Computing》,给出了云计算的参考定义。

    2011年2月,美国联邦政府CIO发布了《Federal Cloud Computing Strategy》,明确提出美国政府信息技术向云计算方式迁移,并推行“Cloud First”计划。

    2011年12月,美国OMB发布FedRAMP备忘录,正式建立FedRAMP云计算风险管理与授权项目,旨在提供一个标准化的方法来对云计算产品和服务进行安全评估、授权和联系监视。

    2013年,澳大利亚政府出台了《The National Cloud Computing Strategy》用于布局云计算总体发展。

    2014年,英国政府于2014年宣布正式采用“政府云服务G-Cloud”

    2014年,中华人民共和国国家质量监督检验检疫总局、中国国家标准化管理委员会联合发布了联合发布了GB/T 31167-2014《信息安全 云计算服务安全指南》、GB/T 31168-2014《信息安全技术 云计算服务安全能力要求》。

    2015年12月,在中国国家标准化管理委员会下达的2015年第三批国家标准修订计划中,正式下达17项云计算国家标准制修订计划

     

    3

    云计算的基本特点

     

    • 按需自助服务– 消费者能够单方面按需调配计算资源,例如服务器时间和网络存储,这些是无需人为干涉自动进行的。

     

    • 广泛网络访问–通过各种瘦或胖客户端(移动电话、平板电脑、便携式电脑和工作站)使用标准机制通过网络访问资源。

     

    • 资源池– 通过多租户模型,供应商的计算资源池可服务多位消费者,根据用户需求动态或重新分配不同的物理和虚拟资源。资源是与位置无关的,客户通常无法控制或知道资源的精确位置,但可以在更高层抽象(例如,国家、洲或数据中心)上指定位置。资源例子包括存储、处理器、内存和网络带宽。

     

    • 快速可伸缩性– 资源能被弹性配置和发布,在有些场景下,可按需自动而快速的横向扩展和收缩。对于消费者而言,可调配的资源总是无限可用的,可在任何时候使用任意数量的资源。

     

    • 可度量服务– 云计算系统能够自动控制并优化资源的使用,通过适用于服务类型的某些抽象层级的度量机制(例如,存储、处理器、带宽以及活动的用户帐户)。能够监控、控制和报告资源使用率,为服务提供商和消费者提供透明的服务使用情况。

     

    4

    云计算服务模型

     

     

    Software-as-a-Service (SaaS)– 提供给消费者的资源是运行在云计算基础架构上的服务商提供的应用程序。各种客户端通过瘦客户端接口访问该应用程序,例如Web浏览器,或程序接口。消费者并不管理或控制底层的云计算基础架构,包括网络、服务器、操作系统、存储、甚至应用程序本身的功能,只允许部分受限的用户设置特定的应用程序设置。

     

    Platform-as-a-Service(PaaS)-提供给消费者的资源是可以使用由服务商支持的编程语言、库、服务和工具,把由消费者创建或购买的应用程序部署在云计算基础设施上的能力。消费者并不管理或控制底层云计算基础设施,包括网络、服务器、操作系统、存储,但对部署的应用程序有控制权,还可以配置应用程序所在宿主机的环境。

     

    Infrastructure-as-a-Service(IaaS)-提供给消费者的资源是可调配的处理器、存储、网络以及其他可用于运行任意软件的基础计算资源,包括操作系统和应用程序。消费者并不管理或控制底层云计算基础架构,但可以控制操作系统、存储和部署的应用程序,可能还被允许有限制的控制网络组件(例如,主机防火墙)。

     打个比方:

    当你饿了想吃饭时:

    自己买锅碗瓢盆这些工具,自己洗菜切菜烧菜,最后烹饪出一份美食,这个过程是IAAS服务

    你去户外农家乐出游,农家乐提供了锅碗瓢盆,你自己洗菜切菜烧菜,最后烹饪出一份美食,这个过程就是Paas服务;

    你直接点一份外卖,拿到的就是做好的美食,你只负责吃,这个过程就是saas服务。

     

    5

    云计算部署模型

     

    私有云– 云计算基础架构提供给包含多个消费者的单一组织专门使用。该云计算基础架构可以由该组织、第三方机构或他们的组合来拥有、管理和运营,基础架构可以位于组织内部或外部。

    社区云-云计算基础架构提供给一个由多个组织的成员组成的消费者社区专门使用,这些组织有共同关注的话题(例如,任务、安全需求、政策、合规性考量)。该云计算基础架构可以由该社区中的一个或多个组织、第三方机构或他们的组合来拥有、管理和运营,基础架构可位于组织内部或外部。

     

    公有云-云计算基础架构提供给公众开放使用,该云计算基础架构可以由商业机构、学术组织或政府机关、或者他们的组合来拥有、管理和运营,基础架构位于云计算服务提供商内部。

     

    混合云– 由两个或多个独立的不同云计算基础架构(私有、社区或公有)组成,他们通过标准或私有技术被绑定在一起,实现数据和应用程序的可移植性(例如,当云爆发时实现多云之间的负载均衡)。

     

    同样打个比方:

    饿了要吃饭,在家里自己做饭属于自建私有云,需要建造厨房购买锅碗瓢盆柴米油盐等,吃完饭还需要自己刷锅洗碗等运维工作,费时费力;

    外面餐馆提供的就相当于公有云服务,按需胡吃海塞吃完结账抹嘴走人,餐馆后厨如何安排做菜顺序并加快出菜速度就是负载均衡和虚拟化概念;

    请厨师到家里上门做饭则属于典型的混合云,在资产安全的情况下有限使用公有云。

    如果你上班的单位提供食堂,但是只对单位内部人员和单位下属的部门提供服务,这种就属于典型的社区云;

     

    6

    云计算关键技术

    上面讲到云计算的发展历史,云计算发展到今天,是基于关键技术的不断发展,最终整合在一起才发展成今天所见的云计算产品和服务。

    6.1. 虚拟化技术

    虚拟化就是通过软件与硬件解耦,实现资源池化与弹性扩展。主流虚拟化技术有KVM,Xen,VMware,Hyper-V等。目前KVM是最受欢迎的虚拟化技术,AWS、阿里云、华为云、腾讯云目前也都从Xen转向了KVM。

    除了软件虚拟化,还有硬件辅助虚拟化(如Intel-VT或ADM-V),比如通过引入新的指令和运行模式,来解决软件无法实现完全虚拟化的问题,同时也能进一步提升虚拟化的性能与处理能力。

    6.2. 分布式技术

    分布式就是把同一个任务分布到多个网络互连的物理节点上并发执行,最后再汇总结果。分布式系统的扩展性,性能、容量、吞吐量等可以随着节点增加而线性增长,非常适合云计算这种大规模的系统。在云上主要应用的有分布式存储、分布式数据库、分布式缓存,分布式消息队列等。

     

    云计算、分布式计算、网格计算的区别:

     

    并行计算 -并行计算是相对于串行计算,时间上并行即流水线技术,空间上并行即多个处理器同时计算,即解决单个处理器性能问题。

     

    分布式计算 -将复杂的问题分解成多个小任务分发到多台计算设备处理,最后再终于计算结果进行综合分析得到最终结果。并行计算和分布布计算在粒度上,前者借助并行计算算法分配到不同处理处理器处理,后者执行计算任务的处理器之前相互独立;时间上,并行计算在短时间内完成,分布式则一般运行较长时间。不过二者在并行和分布式的特征上是相似的。


    网格计算 -将异构多余的计算机资源组成一个虚拟计算集群,也用于解决大规模复杂问题。网格计算的焦点放在支持跨管理域计算的能力,这使它与传统的计算机集群或传统的分布式计算相区别。

     

    云计算 -云计算是最新开始的新概念,它不只是计算等计算机概念,还有运营服务等概念了。它是分布式计算、并行计算和网格计算的发展,或者说是这些概念的商业实现。云计算不但包括但不限于分布式计算还包括分布式存储、缓存。云计算是从集群技术发展而来,区别在于集群虽然把多台机器联了起来,但其某项具体任务执行的时候还是会被转发到某台服务器上,而云可以简单的认为是任务可以被分割成多个进程在多台服务器上并行计算,然后得到结果,好处在于大数据量的操作性能非常好。云可以使用廉价的PC服务器 ,可以管理大数据量与大集群,关键技术在于能够对云内的基础设施进行动态按需分配与管理。云计算与并行计算、分布式计算的区别,以计算机用户来说,并行计算是由单个用户完成的,分布式计算是由多个用户合作完成的,云计算是没有用户参与,而是交给网络另一端的服务器完成的。

     

    6.3. SDN 与 NFV

    SDN是软件定义网络,核心是网络的控制面(网络策略)和转发面(数据流向)分离;NFV是网络功能虚拟化,将以往需要专用且昂贵的设备提供的网络功能,比如负载均衡与防火墙,通过软件和普通的x86服务器来实现。

    云计算的网络功能都关联到私有网络VPC上,VPC是通过网络隧道协议(GRE和VXLAN)实现逻辑隔离的虚拟网络。GRE封装在主机上做,而VXLAN封装在交换机上做。所以阿里云、腾讯云VPC使用GRE隧道封装,在IP数据包中增加GRE报头(里面是VPCID)来实现多租户或不同虚拟网络之间的隔离。而华为云VPC使用VXLAN隧道封装。

    6.4. 云原生技术

    容器、微服务和DevOps号称云原生三驾马车,是实现技术中台的重要组件。容器是非常轻量秒级部署的虚拟化技术,主要理念就是一次封装,到处运行。通过Linux命名空间、Cgroups与rootfs构建进程隔离环境,将应用软件及其运行所依赖的资源与配置打包封装,提供独立可移植的应用运行环境。Docker当前最火的容器引擎,Kubernetes负责容器编排与集群管理。微服务架构是对SOA升华,将将应用解耦成更加轻量化,独立自治、敏捷开发、部署与治理、可通过HTTP方式访问的服务。微服务可以基于虚拟机、容器或Serverless函数来部署使用。开源的微服务框架主要有Dubbo、Spring Cloud。新推出的Service Mesh通过Sidecar智能代理方式让不同应用可以不用修改代码即可接入微服务平台,被称为微服务2.0。DevOps就是敏捷开发运维,通过持续集成与持续部署CICD等自动化工具与流程,打通应用开发、测试、发布、运维的各个环节,以大幅提升系统效率与可靠性。

    6.5. 云安全技术

    云环境由于规模巨大,组件复杂,用户众多,其潜在攻击面较大、发起攻击的成本很低,受攻击后的影响巨大。所以云安全形势还是非常严峻,涉及主机安全、网络安全、应用安全、业务安全,数据安全等,各厂商在相关领域都有比较成熟的产品和技术。2019年12月1日刚生效的等保2.0对云安全提出了全面详细体系化的要求和指导,目前已经成为一个条必须满足的合规要求,金融政府等重要企业单位的IT系统都要求达到等保三级以上。其重点就是一个中心(安全管理中心)三重防护(计算环境安全,通信网络安全、区域边界安全)。

     

    6.6. 云管理平台

    云计算是一个非常复杂的系统,对整个云平台进行敏捷高效的管控运维非常重要。云管理通常涉及四个层面:一是租户端管理,让用户能有效管理使用基本的云服务;二是运营管理,涉及云服务运营策略,如资源管理、计量计费,消息通知等;三是运维管理:涉及云平台的可用性与可靠性保障,如自动化运维,监控告警、运维排障等。四是多云纳管,当前对于很多企业混合云是一个趋势,私有云+公有云,或者引入和均衡多个云厂商。所以需要提供能够统一纳管多种云,以及传统IT环境的管理平台。OpenStack是一个开源的云管平台,各个云厂商都有自己的管控平台,还有一些专门做多云纳管的厂商,比如博云、骞云、飞致云等。

    当然,云计算还有很多重要的技术,比如边缘计算、IoT、区块链等

     

    7 一张图总结

     

     

     后话:

             云计算的发展是一个曲折的过程,它跟计算、存储、网络的底层虚拟化技术的发展是分不开的,虚拟化和分布式技术的发展奠定了云计算的基础,而云计算平台为AI、大数据、物联网、区块链打牢了地基。在云计算平台上,政府、企业等都在不断探索新型的信息化和商业模式。

     

    展开全文

空空如也

空空如也

1 2 3 4 5 6
收藏数 119
精华内容 47
热门标签
关键字:

云计算技术与应用论文