精华内容
下载资源
问答
  • 云计算课程报告

    2019-01-13 13:34:23
    这是云计算课程设计报告,其中包括AWS四个实验和Hadoop伪分布式安装过程
  • 广工云计算课程报告

    2019-03-29 13:05:02
    这是一篇讨论桌面虚拟化的实现和作用的广工云计算课程报告
  • 研一学习计算机网络要做课程报告,本人选择讲解关于云计算,框计算,网格计算等,云计算是主要部分,根本相关资料做成的ppt
  • 一、实验目的与要求 1、在虚拟机Ubuntu上安装Hadoop单机模式; 2、在单机上实现wordcount。
  • 这个是我 课程设计的报告 大神们想要的自己下载吧 。 。。 呵呵
  • 虚拟化与云计算 实 验 报 告 目录 TOC \o "1-5" \h \z \o "Current Document" 一实验目标 1 \o "Current Document" 二实验内容 1 三实验步骤 1 \o "Current Document" 四实验遇到的问题及其解决方法 24 \o "Current ...
  • 嘿嘿嘿,跪求云计算课程设计报告,有木有大佬会写云计算的课程设计报告
  • 云计算(课程报告).doc

    2020-08-02 06:07:00
    程 序 设 计 方 法 学 姓名 班级 学号 有云蔚然升起 摘要 随着多核处理器虚拟化分布式存储宽带互联网和自动化管理等技术的发展产生了一种新型的计算模式云计算它能够按需部署计算资源而用户只需要为所使用的资源付费...
  • 竭诚为您提供优质文档 / 双击可除 吕梁市云计算调研报告 篇一云计算调研报告 20XX-20XX 学年第 2 学期 课程号 IepA40460p 云计算课程论文 院系专业班级姓名学号题目 提交论文报告时间 20XX 年 6 月 23 日 论文写作...
  • 云计算报告

    2014-11-07 11:05:33
    云计算课程报告模板,报告的固定模式和结课资料。
  • 云计算实验报告.pdf

    2020-07-12 22:22:05
    云计算原理课程 期末实践报告 题目 Linux 集群 MapReduce 和 CloudSim 实践 成绩 学号 姓名 罗滔 登录邮箱 任课老师 许娟 2016 年 11 月 12 日 目录 实验一 AWS身份与访问管理 P2~P11 实验二 ...P11~P20) 实验三 Hadoop...
  • 云计算原理课程 期末实践报告 题目Linux 集群MapReduce 禾口 CloudSim 实践 成绩 学号 161440119 : 罗滔 登录邮箱 750785185qq. 任课老师 许娟 2016年11月12日 实验一AWS身份与访问管理P2?P11 实验二 : ...
  • 可编辑文档 PAGE 页码页码/NUMPAGES 总页数总页数 云计算原理课程 期末实践报告 题目Linux集群MapReduce和CloudSim实践 成绩 学号 161440119 姓名 罗滔 登录邮箱 750785185@ 任课老师 许娟 2016年11月12日 目录 TOC ...
  • 云计算原理课程 期末实践报告 题目Linux 集群MapReduce 和 CloudSim 实践 成绩 学号 姓名 罗滔 登录邮箱 任课老师 许娟 2016 年 11 月 12 日 目录 实验一 AWS身份与访问管理 P2~P11 实验二 ...实验三 Hadoop实验报告 ( ...
  • 云计算与大数据》课程报告

    千次阅读 2020-07-11 13:50:12
    云计算与大数据》课程报告 微软云计算VMware Linux的简单使用 院 系:计算机科学与技术学院 姓 名:xxx 专 业:物联网工程 班 级:物联xx班 2019-2020年度第二学期 一、概述 云计算 (cloud computing)是基于互联网...

    《云计算与大数据》课程报告

    微软云计算VMware Linux的简单使用

    院 系:计算机科学与技术学院
    姓 名:xxx
    专 业:物联网工程
    班 级:物联xx班

    2019-2020年度第二学期

    一、概述
    云计算 (cloud computing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网,后来也用来表示互联网和底层基础设施的抽象。因此,云计算甚至可以让你体验每秒10万亿次的运算能力,拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心,按自己的需求进行运算。其具有一下特点:超大规模、虚拟化、高可靠性、通用性、高可伸缩性、按需服务、极其廉价。
    VMware(威睿,纽约证券交易所代码:VMW) 虚拟机软件,是全球桌面到数据中心虚拟化解决方案的领导厂商。全球不同规模的客户依靠VMware来降低成本和运营费用、确保业务持续性、加强安全性并走向绿色。2008年,VMware年收入达到$1.9billion美元,拥有逾150,000的用户和接近22,000多家合作伙伴,是增长最快的上市软件公司之一。VMware总部设在加利福尼亚州的帕罗奥多市(Palo Alto)。
    Hadoop是一个能够对大量数据进行分布式处理的软件框架,并且是以一种可靠、高效、可伸缩的方式进行处理的。其至少应当包含分布式存储和分布式计算两个模块,但是分布式存储和分布式计算这两者间并没有关系,它们各自都可以独立存在。Hadoop具有以下几个方面的特性:高可靠、高效性、高可扩展性、高容错性、成本低、运行在Linux平台上、支持多种编程语言。
    二、系统结构或服务
    1、云计算体系结构:
    ①SOA构建层
    ②管理中间件层:用户管理、任务管理、资源管理、资源池层、物理资源层。
    ③物理资源层
    ④资源池层
    (注:管理中间件层和资源池层是云计算技术的最关键部分,SOA构建层的功能更多依靠外部设施提供)
    2、服务形式
    云计算可以认为包括以下几个层次的服务:基础设施即服务(IaaS),平台即服务(PaaS)和软件即服务(SaaS)。
    ①将软件作为服务SaaS(Software as a Service):针对性更强,它将某些特定应用软件功能封装成服务。例如:阳光云服务器。

    ②将平台作为服务PaaS(Platform as a Service):对资源的抽象层次更进一步,提供用户应用程序运行环境。例如:软件的个性化定制开发。
    ③将基础设施作为服务IaaS(Infrastructure as a Service):将硬件设备等基础资源封装成服务供用户使用。例如:硬件服务器租用。
    3、Linux体系结构:
    从大体上来说,linux体系结构分为:①用户空间:C库、用户应用程序 ②内核空间:系统调用接口、内核、硬件平台依赖代码。如图:

    具体来讲,linux可划分为5个部分:linux内核、GNU工具链、桌面环境、应用软件。
    4、Linux常用服务:
    磁盘挂载与卸载、SSH限制ip登陆、Linux常见服务器——DHCP服务器的搭建、shell脚本实现nfs服务安装配置,共享文件分发、NFS工作原理、nfs部署和优化等。
    三、相关技术
    云计算:
    1、编程模式
    2、海量数据分布存储技术
    3、海量数据管理技术
    4、虚拟化技术
    5、云计算平台管理技术
    VMware-Hadoop:
    编号 项目 软件及版本
    1 操作系统 CentOS6
    2 环境软件 VMware 12
    3 jdk环境 jdk1.8.3_181
    4 Hadoop Hadoop2.7.3
    5 本机操作系统 win10专业版

    四、应用
    云计算应用:
    搜索引擎大家最为熟悉的莫过于谷歌和百度了,在任何时刻,只要用过移动终端就可以在搜索引擎上搜索任何自己想要的资源,通过云端共享了数据资源。而网络邮箱也是如此,在过去,寄写一封邮件是一件比较麻烦的事情,同时也是很慢的过程,而在云计算技术和网络技术的推动下,电子邮箱成为了社会生活中的一部分,只要在网络环境下,就可以实现实时的邮件的寄发。其实,云计算技术已经融入现今的社会生活。
    1、存储云
    存储云,又称云存储,是在云计算技术上发展起来的一个新的存储技术。云存储是一个以数据存储和管理为核心的云计算系统。用户可以将本地的资源上传至云端上,可以在任何地方连入互联网来获取云上的资源。大家所熟知的谷歌、微软等大型网络公司均有云存储的服务,在国内,百度云和微云则是市场占有量最大的存储云。存储云向用户提供了存储容器服务、备份服务、归档服务和记录管理服务等等,大大方便了使用者对资源的管理。
    2、医疗云
    医疗云,是指在云计算、移动技术、多媒体、4G通信、大数据、以及物联网等新技术基础上,结合医疗技术,使用“云计算”来创建医疗健康服务云平台,实现了医疗资源的共享和医疗范围的扩大。因为云计算技术的运用于结合,医疗云提高医疗机构的效率,方便居民就医。像现在医院的预约挂号、电子病历、医保等等都是云计算与医疗领域结合的产物,医疗云还具有数据安全、信息共享、动态扩展、布局全国的优势。
    3、金融云
    金融云,是指利用云计算的模型,将信息、金融和服务等功能分散到庞大分支机构构成的互联网“云”中,旨在为银行、保险和基金等金融机构提供互联网处理和运行服务,同时共享互联网资源,从而解决现有问题并且达到高效、低成本的目标。在2013年11月27日,阿里云整合阿里巴巴旗下资源并推出来阿里金融云服务。其实,这就是现在基本普及了的快捷支付,因为金融与云计算的结合,现在只需要在手机上简单操作,就可以完成银行存款、购买保险和基金买卖。现在,不仅仅阿里巴巴推出了金融云服务,像苏宁金融、腾讯等等企业均推出了自己的金融云服务。
    4、教育云
    教育云,实质上是指教育信息化的一中发展。具体的,教育云可以将所需要的任何教育硬件资源虚拟化,然后将其传入互联网中,以向教育机构和学生老师提供一个方便快捷的平台。现在流行的慕课就是教育云的一种应用。慕课MOOC,指的是大规模开放的在线课程。现阶段慕课的三大优秀平台为Coursera、edX以及Udacity,在国内,中国大学MOOC也是非常好的平台。在2013年10月10日,清华大学推出来MOOC平台——学堂在线,许多大学现已使用学堂在线开设了一些课程的MOOC。
    VMware典型应用:
    ①简便、自动化且价格易于承受的灾难恢复;
    ②原有IT基础架构使灾难恢复变得极为困难;
    ③利用虚拟化的存储器和服务器基础架构;
    ④戴尔和VMWARE(R)新推出的全站恢复;
    ⑤部署VMWARE(R);
    ⑥借助VMware vSphere 5打造高效的企业;
    ⑦携手打造强大的、集成的基础架构。
    Hadoop实验应用:
    ①ubuntu系统安装;
    ②Hadoop单机安装;
    ③Hadoop伪分布式安装;
    ④HDFS基本应用;
    ⑤HDFS常用shell命令;
    ⑥HDFS编程;
    ⑦MapReduce编程——WordCount;
    ⑧MapReduce编程——合并去重;
    ⑨Hbase安装与配置;


    五、总结
    中国的云计算发展还处于初级阶段,我们应该看到云计算巨大的发展潜力,要推动并加强云计算的研发和创新,培养相关的科研创新人才和团队,帮助国内企业攻克在iT产业和信息服务领域的关键技术,加速信息化建设进程,进而提升工业化水平。而在学习中,我知道了云计算的概念、原理、现状、优势,认识了云计算产生的原因和对社会生活的影响,以及在发展中即将面临的问题。这都是以后就业发展的的知识储备前提。在课程学习中,我对VMware-Hadoop产生了极大的兴趣,更加充分地利用了云计算平台完成了每次实验,即使在过程中遇到问题,可以找老师,找百度解决,这都让我的动手能力加强,也更好的巩固了我的知识体系。

    展开全文
  • 评估报告内容 项目的介绍 功能点对比分析 社区活跃程度比较 成功应用 作业格式为MarkDown文本,需要在GitHub上发pull request提交 #分组信息# 编辑页面,将分组信息添加进去。 #作业要求# 在github上fork本项目...
  • 声明:本报告是云计算和虚拟化选修课的课程报告,老师要求比较低,只需要谈谈自己对云计算相关的见解。所以本报告确实写得比较简陋,仅做参考哈! 概要: 云计算作为当前IT行业的热门技术,它一直是社会里的...

    声明:本报告是云计算和虚拟化选修课的课程报告,老师要求比较低,只需要谈谈自己对云计算相关的见解。所以本报告确实写得比较简陋,仅做参考哈!

     

    概要:

    云计算作为当前IT行业的热门技术,它一直是社会里的热点问题,而如今得到不断发展和广泛应用。本文基于云计算定义和原理、特点、服务模式和核心技术,并且围绕云计算的应用和安全、云计算的发展趋势来探讨一下这个云计算。

    关键词:

    云计算,虚拟化,服务模式,核心技术,云应用,云安全。

     

    目录

    1 云计算概述

    1.1 云计算定义 

    1.2 云计算基本特征

    2 云服务模式

    2.1 云服务概念

    2.2 云服务部署的主要形式

    2.3 云服务架构层次

    3 云计算的核心技术

    3.1 虚拟化技术

    3.2 云计算的数据存储

    3.3 云平台管理技术

    4 云计算的应用和安全

    4.1 云计算的应用

    4.2 云计算的安全

    5 云计算发展趋势

    结束语


     

    1 云计算概述

    1.1 云计算定义 

    维基百科中给出定义:云计算是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机各种终端和其他设备,使用服务商提供的电脑基建作计算和资源。根据我的理解就是将诸多的计算机资源和应用服务(application,例如浏览网页,下载电影)集中在一起,而这些计算机资源可能由多个无数个数据中心通过互联网相连形成的,从而形成了所谓的云计算。

    云计算的原理是简单的,简单来说就是把计算机资源集中起来,放在网络上。但是云计算的实现方式就比较复杂了。比如淘宝双十一的背后需要一个强大的云计算系统支撑,这个云计算系统实现相对复杂,不是简单的扩充几台服务器就能解决的。

    1.2 云计算基本特征

    云计算具体基本特征可大致如图1所示:

                                                                                             图1 云计算基本特征

     

    2 云服务模式

    2.1 云服务概念

    我们把所提供的软件服务称为“云服务”,云服务是指可以在互联网上使用一种标准接口来访问一个或多个软件功能。它指通过网络以按需、易扩展的方式获得所需服务,这种服务可以是IT、软件、互联网相关,也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。

    2.2 云服务部署的主要形式

    云计算按照部署可分为公有云、私有云、社区云和混合云四种云服务部署模型,不同的部署模型对基础架构也有着不同的技术要求,所有很有必要了解这几种云计算部署模式之间的不同。具体的这四种云计算部署模式如图2所示:

                                                                                           图2 云计算部署模式

    2.3 云服务架构层次

    云服务架构各个层次为用户提供各种级别的服务,即业界普遍认同的典型云计算服务体系——基础设施服务(IaaS)、平台及服务(PaaS)和软件及服务(SaaS)。具体的云架构层次示意图如图3所示:

                                                                                           图3 云计算架构层次图

    我们可以这么理解这三种层次:IaaS层是最底层的硬件资源,主要包括CPU(计算资源),硬盘(存储资源),还有网卡(网络资源)等;PaaS层稍微高级点,相当于客户不打算直接使用CPU、硬盘和网卡,希望服务提供商把操作系统(例如Windows、Linux)装好,把数据库系统软件也装好之后提供给客户使用;最后的SaaS层可以这样理解,服务提供商要在装好操作系统等基本软件的前提下,并把具体的应用软件(例如ftp客户端、视频软件)装好,最后在提供给客户使用。

     

    3 云计算的核心技术

    3.1 虚拟化技术

    虚拟化是广义上的术语,是指计算元件在虚拟化的基础上而不是在真实的基础上运行,是一个为了简化管理,优化资源的解决方案。说的通俗点,我们使用虚拟化技术对物理资源进行统一管理。虚拟化是云计算的基础。

    实际上,虚拟化就是在一台物理服务器上运行多台“虚拟服务器”,就是所谓的虚拟机。表面上看,虚拟机都是独立的服务器,但实际上它们共享物理服务器的CPU、内存、硬盘、网卡等资源。物理机作为宿主机(host),虚拟机作为客户机,而它们中间则需要一个“监督者”——Hypervisor来完成物理资源虚拟化的工作。常见的Hypervisor如VMware、KVM、Xen、Virtual Box。

    谈到虚拟化技术中的虚拟机,就不得不提及docker容器了。容器就是将软件打包成标准化单元,以用于开发、交付和部署。对比一下docker和虚拟机的相同点和不同点。

    相同:

    • 容器和虚拟机具有相似的资源隔离和分配优势

    不同:

    • 容器虚拟化的是操作系统,虚拟机虚拟化的是硬件。
    • 传统虚拟机可以运行不同的操作系统,容器只能运行同一类型操作系统

     

    3.2 云计算的数据存储

    谈到云计算,那么一定会提及大数据,云计算和大数据是息息相关的。

    云计算作为一种新型的计算模式,它的主要特征是系统拥有大规模数据集并且基于数据集向用户提供服务。为了保证高可用、高可靠和经济性,它采用了分布式存储的方式来存储数据,这种数据存储可冗余可为同一份数据存储多个副本。

    因而云计算的数据存储技术必须具有高吞吐率和高传输率的特点。例如典型的云计算数据存储技术有谷歌非开源的GFS(Google File System)及Hadoop的HDFS(Hadoop Distributed File System)

     

    3.3 云平台管理技术

    云平台管理是运行在云计算服务的控制台,是云计算服务监控、管理、分析和优化云计算服务的重要工具,是支撑和保障云计算服务的信息化架构。

    简单来说,我们通过Hypervisor软件提供了虚拟化的能力,模拟CPU的运行,但是它的用户交互性并不友好,于是为了更加方便有效的管理虚拟机资源,就需要类似于OpenStack这样的云管理平台。这种云管理平台可以基于web向用户提供图形化界面操作,既方便又形象的给用户提供服务。常见的云平台提供商还有阿里云、腾讯云等。

     

    4 云计算的应用和安全

    4.1 云计算的应用

    云应用是云计算的子集,是云计算技术在应用层的体现。云应用的工作原理是把传统软件“本地安装”的使用方式变为“即取即用”的服务,通过互联网或者局域网连接并操控远程服务器集群以完成业务和运算。云应用可以降低IT成本和提高工作效率,典型的云应用如云物联、云教育、云游戏和云社交等。

    4.2 云计算的安全

    云计算的市场对云安全的积极的促进作用,哪里有云计算,哪里就有云安全。庞大的云计算使用客户对云安全的要求也特别高,所以云计算首先要解决可信问题,依靠可信技术来解决数据存储的可靠性;依据服务QoS保障技术,解决服务质量;综合利用加密、数字签名、认证、授权等安全技术,构建完整的云安全体系。

     

    5 云计算发展趋势

    自2006年8月9号,Google的CEO埃里克施密特在搜索引擎大会上首次提出云计算的概念,到现在它发展已经差不多十几年的时间了,它的技术其实已经趋近成熟了。而在实际生活中,云计算确实给我们的生活带来了极大的便利,它推动了整个信息产业的发展及进步。当今的教育行业、通信行业、医疗行业等都开始有了云计算的具体应用,并且开始慢慢普及。中国政府也对云计算的发展非常重视,并且各大型企业对云计算的认知也在不断的提高,很多公司如华为、阿里巴巴和腾讯也各自提供他们的云解决方案。而且根据近几年云计算的市场行情调查显示,云计算发展还在处于一个增长的趋势。所以我相信云计算的未来还会在连续发展着,它的技术会越来越成熟,像水一样渗入人们的日常生活当中去。

     

    结束语

    随着全球信息化的不断发展,云计算是整个IT产业发展的趋势。 当代IT行业的数据发展方向趋向于海量化、多元化、集中化。而且云计算是当前大数据、物联网、区块链和人工智能等新兴技术中不可或缺的一门技术,它们之间存在着紧密的联系,可以说云计算是基础。所以说云计算,它顺应了时代的发展,它使未来发展的脚步更快,使资源得到更加充分的使用和共享。我们也将迎来一个更加透明的,信息获取更加便捷充足的云时代!

    展开全文
  • 实 验 报 告 课程名称 虚拟化与云计算 学 院 计算机学院 专业班级 11 级 网络工程 3 班 学 号 3211006414 姓 名 李彩燕 指导教师 孙为军 2014 年 12 月 03 日 EXSI 5.1.0安装 安装准备 安装 VSPHERE HYPERVISOR ...
  • 关于云计算的实习报告 学院 计算机科学与信息学院 专业网络工程姓名: 学号 实习性质认识实习班级实习地点 指导教师:成绩 这是学生了解一般网络建设的步骤规划与实施等相关 技术使学生对网络 的建设有一个初步的认识...
  • 专业 网络工程 姓名 学号 班级 实习性质 认识实习 实习地点 指导教师 成绩 一实习目的 这是学生了解一般网络建设的步骤 规划与实施等相关技术 使学生对网络的建设有一个初步的认识为后续课程学习打下一个基本的概念 ...
  • 四 川 大 学 计 算 机 学 院软 件 学 院 实 验 报 告 学号: 姓名 专业 班级 9 第 15 周 课程名称 ? 云计算与分布式系统 实验课时 6 实验项目 在最终部署的Hadoop上运行WordCount程序 实验时间 2015年6月11日星期四 ...
  • 精品文档 四 川 大 学 计 算 机 学 院软 件 学 院 实 验 报 告 学号 : 姓名 专业 班级 9 第 15 周 课程 实验课时 6 云计算与分布式系统 名称 实验 Hadoop 上运行 WordCount 程序 实验时间 2015 年 6 月 11 日星期四 ...
  • 云计算虚拟化技术.ppt

    2020-06-29 15:17:10
    全称2020云计算课程研究报告——围绕虚拟化技术进行讲解 云计算 :是分布式处理、并行处理和网格计算的发展,或者说是这些计算机科学概念的商业实现。是指基于互联网的超级计算模式——即把存储于个人电脑、移动...
  • 一名课程参与者报告了在 Ubuntu Linux 14.04 上运行的 Mozilla Firefox 网络浏览器的问题; 当启动由 Koding.com 托管的虚拟机时,启动过程似乎挂起并且永远不会进行。 在联系 Koding 的技术支持后,有人建议 ...
  • 云计算IaaS浅谈

    2016-02-20 18:24:00
    (本篇文章仅仅是整理文档资料时,发现的一篇课程报告,感觉还挺有参考意义的) 最近几年云计算一直是IT业的热点,一股炽热的云计算浪潮席卷了世界,全世界都在讲云计算,都在搞云计算。虽然最初是由谷歌公司提出的...

    (本篇文章仅仅是整理文档资料时,发现的一篇课程报告,感觉还挺有参考意义的)

    最近几年云计算一直是IT业的热点,一股炽热的云计算浪潮席卷了世界,全世界都在讲云计算,都在搞云计算。虽然最初是由谷歌公司提出的相关理论和概念,但很多公司随后也提出了不少新的概念,这都为云计算的落地做出了很大的贡献。虽然,云计算的发源地是美国,但和很多其他技术不同的是,我们国家没有在云计算领域落后世界太远。

    云计算虽然是一种新的概念,但它不是一种新的技术,它仅仅是一种新的资源运用方式。云计算脱胎于现有技术,它是由网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统技术所组合成的新型计算资源运用模式。我们常常把云计算的分为四个不同的层次几种服务类型,可以将云计算划分为以下四个层次:应用层、平台层、基础设施层和虚拟化层。这四个不同的层次分别为:软件即服务层(SaaS),平台即服务层(PaaS),基础设施即服务层(IaaS)和硬件即服务层(HaaS)。

    在中国IT行业BAT这三家平台型公司无疑是我国互联网行业的巨无霸,无论谈论什么都离不开它们,他们很大程度上代表着我国的信息产业发展水平,是我国IT的一个缩影,无疑它们也引领着我国云计算产业的发展模式。我们知道目前百度云是平台即服务层(PaaS)的,阿里云和腾讯云是基础设施即服务层(IaaS)的。既然由两家公司都是采用IaaS类型的,为了对IaaS有了一个更深的了解。我就查阅了一些有关IaaS的资料,结合老师讲授的知识,对于IaaS有以下认识:

    IaaS是云计算服务提供商向用户出租其能提供的计算能力、存储功能、网络计算和其他多种资源。用户可以利用付费租来的资源去开发和部署属于自己的任意应用程序,如操作系统和软件等。这种服务类型依靠的是云平台上的虚拟计算机集群的计算能力和安全稳定的存储能力。IaaS的最大优势就是用户可以自行申请和释放节点,计费是按照使用的节点量来计算的。在该模式下,云平台上的服务器集群规模能够达到几十万甚至上百万台,用户完全没有必要去考虑资源是不是足够用,只需要按需申请资源就可以了。云平台上的资源是所有用户共享的,所以资源使用效率是比较高的。

    IaaS供应商需要在那些方面对基础设施进行管理以给用户提供资源?或者说IaaS云有那些功能?在《虚拟化与云计算》中列出了IaaS的七个基本功能:

    • 资源抽象:使用资源抽象的方法(比如,资源池)能更好地调度和管理物理资源。
    • 资源监控:通过对资源的监控,能够保证基础实施高效率的运行。
    • 负载管理:通过负载管理,不仅能使部署在基础设施上的应用运能更好地应对突发情况,而且还能更好地利用系统资源。
    • 数据管理:对云计算而言,数据的完整性,可靠性和可管理性是对IaaS的基本要求。
    • 资源部署:也就是将整个资源从创建到使用的流程自动化。
    • 安全管理:IaaS的安全管理的主要目标是保证基础设施和其提供的资源能被合法地访问和使用。
    • 计费管理:通过细致的计费管理能使用户更灵活地使用资源。

    IaaS的主要产品包括:Amazon EC2LinodeJoyentRackspaceIBM Blue CloudCisco UCS等。

    通过IaaS这种模式,用户可以从供应商那里获得他所需要的虚拟机或者存储等资源来装载相关的应用,同时这些基础设施的繁琐的管理工作将由IaaS供应商来处理。IaaS能通过它上面对虚拟机支持众多的应用。消费者可以通过Internet可以从完善的计算机基础设施获得服务。换成我们通常理解的内容来讲就是我们不用购置硬件(服务器、存储等),不用去考虑如何把服务器连上网,只需要我们购买IaaS服务就可以使用这些硬件的服务。通过 IaaS我们可以拥有提供处理、存储、网络和其他计算资源的能力,也可以在云里部署和运行任意软件,比如操作系统和应用程序。大多数云计算用例遵循我们已经习惯的基础分层结构:一个软件解决方案堆栈或平台被部署在一个网络基础架构上,一些应用程序在那个平台之上运行。

    最近阿里云和好多地方政府签订了云服务协议,相信在不久的将来IaaS在我国一定有更大的发展。从整个网络技术和计算机产业来看,云计算完全不同于以往的业务模式,云计算的提出和推广必将导致整个产业新的爆发式的增长。相信云计算未来会像我们日常生活中使用的煤气和水一样成为IT行业的基础设施。

    转载于:https://www.cnblogs.com/syfwhu/p/5171017.html

    展开全文
  • 云计算课程报告 课程实验题目:hadoop的测试 时间:15周-18周 一、 课程实验目的与要求 熟练掌握Linux的相关命令并会配置java环境。 学会安装Hadoop并配置Hadoop的环境。 深入理解MapReduce并会进行Hadoop的...

    【云计算】Hadoop,测试wordcount

    一、 学习目的

    1. 熟练掌握Linux的相关命令并会配置java环境。
    2. 学会安装Hadoop并配置Hadoop的环境。
    3. 深入理解MapReduce并会进行Hadoop的编程。
    4. 熟练搭建平台和环境,能执行MapReduce实例,同时会使用自带工具TestDFSIO来测试I/O。

    二、实验内容

    1. Install Virtual Machine and Linux
    2. Install Hadoop
    3. Testing Hadoop Performance
    4. Realize and run Hadoop application
    5. Report

    三、 课程实验设备与环境
    VMware Workstation Pro 14.0
    Centos 7
    Xshell 5
    Hadoop-2.9.2
    Jdk1.8.0_191

    四、 设计过程

    1. 安装虚拟机软件和Linux
      1.1 安装Virtual Machine虚拟机软件,并在虚拟机上安装Linux,我装的是Centos7
      在这里插入图片描述
      1.2 找到安装Linux的IP地址,可以用Xshell进行命令行管理虚拟机
      1.2.1 通过su命令切换到root用户,因为root的权限比一般用户大
      在这里插入图片描述
      1.2.2 输入 ls /etc/sysconfig/network-scripts命令(注意ls与/etc之间有空格),找到ifcfg-ens33这个文件
      在这里插入图片描述
      1.2.3 然后,输入vi /etc/sysconfig/network-scripts/ifcfg-ens33命令(注意vi与/etc之间有空格),输入这个命令后,会打开ifcfg-ens33这个文件,如图:
      在这里插入图片描述
      1.2.4 如果你的是显示的“ONBOOT=no”,就不能上网。下面先把它改为“yes”。
      先使用方向键将光标移动到ONBOOT=no那一行,然后按下字母 “i”,此时屏幕下方会出现“INSERT”字样,就可以进行修改操作
      在这里插入图片描述
      修改完成后按“Esc”退出编辑,按“:wq”保存编辑。然后执行service network restart命令,等待重启network。开机后输密码进入操作系统,接着再次换root账户进入终端。 输入“ping www.baidu.com”出现如下图所示,即连上了网络,按ctrl +c 结束指令。
      在这里插入图片描述
      安装一个“ifconfig”命令,ifconfig命令被用于配置和显示Linux内核中网络接口的网络参数,使用:yum install net-tools
      我们输入ifconfig
      在这里插入图片描述
      我们可以看到我们的IP地址为192.168.140.134
      接下来用Xshell来登录
      在这里插入图片描述
      1.3 通过xshell工具成功连接安装好的虚拟机之后可通过rpm -qa | grep java或 rpm -qa | grep jdk 命令来查询出系统自带的jdk
      在这里插入图片描述
      1.4 清除Linux自带的openjdk
      然后通过 rpm -e --nodeps 后面跟系统自带的jdk名
      这个命令来删除系统自带的jdk
      例如:
    rpm -e --nodeps java-1.7.0-openjdk-1.7.0.191-2.6.15.5.el7.x86_64
    rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.191-2.6.15.5.el7.x86_64
    rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.181-7.b13.el7.x86_64
    rpm -e --nodeps java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64
    

    删完之后可以再通过 rpm -qa | grep java或 rpm -qa | grep jdk 命令来查询出是否删除掉
    在这里插入图片描述
    1.5 安装一个新的orcle的jdk
    接下来就是要安装自己的jdk了,通过命令cd /usr/local/ 进入local目录,并通过 ll(两个小写的L)命令或者 ls 命令(ll本身不是命令,只是 ls -l 命令的一个别名)列出当前目录下得所有非隐含的文件,如果想要看到隐含(以.开头的,如.test.txt)文件信息可通过ll –a(ls -all)来查看
    在这里插入图片描述
    进入local目录之后 通过mkdir java命令来创建java目录存放自己的jdk
    (扩展:如果你想一次性在同一级目录下创建多个平级的目录可以通过 mkdir brother1 brother2 (如要创建更多就在后面加上去就可以了,中间用空格隔开)这样的命令来创建,如果要一次创建父子目录(parent/child)可以通过 mkdir -p parent/child/grandson 来创建)

    cd /usr/local //进入usr的local目录
    mkdir java //在local目录下创建于一个java文件夹用来存放jdk
    

    此时多出一个java文件夹
    在这里插入图片描述
    创建好之后,进入java目录cd java
    在线导入安装包的插件,如果之前没有用过可以通过yum -y install lrzsz命令安装这个插件
    我们导入jdk包
    在这里插入图片描述
    传输好后解压一下,并删除原来的压缩文件

    tar -zxvf jdk-8u191-linux-x64.tar.gz
    rm -rf jdk-8u191-linux-x64.tar.gz
    

    在这里插入图片描述

    这时安装包已经没用了,我一般都会删掉安装包 ,通过 rm -rf jdk-8u191-linux-x64.tar.gz删除安装包 -f的意思就是不询问删除,如果你不加 -f 在删除时它会询问你是否要删除该安装包,我是确定要删了就加上 -f 了。这里还有递归删除不询问的命令,如果你要删除一个目录,而这个目录下还有目录或者有文件,比如在parent/child/grandson 这样的目录下你要删除 parent 下得所有目录和文件(包括parent)就可以用到rm -rf parent 命令就可以删除掉了。
    删掉安装包之后就开始配置环境变量了,通过vim /etc/profile命令打开profile文件盘配置环境变量。
    打开之后按 i 进入insert(插入)模式,在文件末尾添加上环境变量

    export JAVA_HOME=/usr/local/java/jdk1.8.0_191
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export PATH=$PATH:$JAVA_HOME/bin
    

    在这里插入图片描述

    添加完之后保存并退出,保存并退出的命令有两种
    第一种是:按住shift 键然后连按两次z(这是我常用的,因为它方便快速),
    第二种是:wq 命令,有一种是不保存退出的命令:q ,注意:以上三种命令都是在非插入模式(插入模式下按键盘左上角的ESC键退出插入模式就是非插入模式了)下操作。
    保存完之后输入:source /etc/profile命令使刚才配置的环境变量生效
    现在就可以测试jdk了,输入javac命令如果出现以下的文字就说明编译成功了
    在这里插入图片描述
    接下来我们通过 java -version命令来查看你安装的jdk信息
    在这里插入图片描述
    2. 安装并配置hadoop的环境
    2.1 hadoop的下载
    在 Apache的 Hadoop项目界面找到hadoop的 hadoop下载地址
    http://hadoop.apache.org/releases.html
    因为直接从Apache官方下载文件速度很慢,所以在表格下面选择别的镜像站地址。
    在弹出的界面中会推荐一个下载速度很快的国内镜像站。
    2.2 配置ssh免密码登录
    以下操作均在root用户中进行,centos7 可以在命令行中使用 su 命令,输入密码后进入root用户。并且默认centos系统中已经正确的配置好了java环境
    2.2.1 进入当前用户目录,找到 .ssh 文件夹

    cd ~    //切换到当前用户的用户目录下
    ls -all   //查看当前用户目录下的所有文件
    

    查看当前用户的目录下是否有.ssh文件夹,如果没有就自己创建一个 mkdir .ssh
    2.2.2 生成私钥和公钥

    cd .ssh                 
    ssh-keygen -t rsa // 生成公钥和私钥,期间系统会询问密钥的保存位置,直接一路回车确认即可
    cp id_rsa.pub authorized_keys // 复制公钥
    

    2.2.3 验证ssh免密码登录是否成功

    ssh localhost //ssh登录本机,第一次登录可能需要输入一次密码,退出之后再登录就不需要了
    exit
    

    在这里插入图片描述
    2.3 解压Hadoop源文件

    cd /usr/local
    rz
    tar -zxvf hadoop-2.9.2.tar.gz
    rm -rf hadoop-2.9.2.tar.gz
    

    在这里插入图片描述

    2.4 配置hadoop环境变量

    vim /etc/profile //配置系统变量,配置之后可在全局任意地方使用Hadoop命令
    打开文件之后,在文件的最后面添加hadoop的配置信息
    export HADOOP_HOME=/usr/local/hadoop-2.9.2 //这个地方记得修改成自己Hadoop安装目录的地址
    export PATH=$HADOOP_HOME/bin:$PATH           
    //使配置文件生效
    source /etc/profile                             
    //之后可以输入命令验证配置是否正确生效
    

    在这里插入图片描述
    在这里插入图片描述

    2.5 修改hadoop配置文件
    修改 /usr/local/hadoop-2.9.2/etc/hadoop/ 下面的hadoop配置文件hadoop-env.sh、hdfs-site.xml、core-site.xml这三个文件

    cd /usr/local/hadoop-2.9.2/etc/hadoop/  //切换到Hadoop配置文件所在的目录
    

    (1) hadoop-env.sh
    将文件中的

    export JAVA_HOME=${JAVA_HOME}改成
    export JAVA_HOME=/usr/local/java/jdk1.8.0_191
    export HADOOP_CONF_DIR=/usr/local/hadoop-2.9.2/etc/hadoop/  
    

    在这里插入图片描述

    (2) hdfs-site.xml
    补充最后的属性:

    <configuration>
            <property>
                    <name>dfs.replication</name>
                    <value>1</value>
            </property>
    </configuration>
    

    在这里插入图片描述

    (3) core-site.xml
    在文件的最后补充:

    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>
    

    在这里插入图片描述

    2.6 启动hadoop

    cd /usr/local/hadoop-2.9.2/bin
    hdfs namenode -format  
    cd /usr/local/hadoop-2.9.2/sbin 
    ./start-dfs.sh 
    jps
    

    在这里插入图片描述
    在这里插入图片描述
    在centos系统的浏览器中输入 http://localhost:50070 查看运行在本机上的hadoop的运行状态
    在这里插入图片描述
    2.7 配置YARN
    修改 /usr/local/hadoop-2.9.2/etc/hadoop 目录下的YARN配置文件
    cd /usr/local/hadoop-2.9.2/etc/hadoop
    mv mapred-site.xml.template mapred-site.xml //首先复制YARN配置文件
    (1) mapred-site.xml
    在最后修改:

    <configuration>
            <property>
                 <name>mapreduce.framework.name</name>
                 <value>yarn</value>
            </property>
    </configuration>
    

    在这里插入图片描述

    (2) yarn-site.xml
    在最后修改:

    <configuration>
    <property>
    <name>yarn.nodemanager.aux-services</name>
      		<value>mapreduce_shuffle</value>
     	</property>
     	<property>
      		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
      		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
     	</property>
    </configuration>
    

    在这里插入图片描述

    运行YARN,验证是否成功

    cd /usr/local/hadoop-2.9.2/sbin
    ./start-yarn.sh  //开启YARN
    jps
    

    在这里插入图片描述

    在浏览器中输入 http://localhost:8088 查看YARN管理的集群状态
    在这里插入图片描述
    3. 测试hadoop
    TestDFSIO
    该测试为Hadoop自带的测试工具,位于$HADOOP_HOME/share/hadoop/mapreduce目录中,主要用于测试DFS的IO性能
    我的Hadoop文件安装目录在/usr/local/hadoop-2.9.2工具在/usr/local/hadoop-2.9.2/share/hadoop/mapreduce目录中

    yarn jar hadoop-mapreduce-client-jobclient-2.9.2-tests.jar
    

    步骤
    1、写入测试,向DFS中写入10个512MB的文件

    yarn jar /usr/local/hadoop-2.9.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.9.2-tests.jar TestDFSIO -write -nrFiles 10 -size 512 -resFile /tmp/dfsio.txt
    

    在这里插入图片描述

    2、清除写入的文件

    yarn jar /usr/local/hadoop-2.9.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.9.2-tests.jar TestDFSIO -clean
    

    在这里插入图片描述

    3、读取测试,在HDFS中读取10个512MB的文件

    yarn jar /usr/local/hadoop-2.9.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.9.2-tests.jar TestDFSIO -read -nrFiles 10 -size 512 -resFile /tmp/dfsio.txt
    

    在这里插入图片描述

    1. 用mapduce实现一个程序
      4.1 写一个txt文件导入到root目录下
      在这里插入图片描述
      4.2 将写的txt文件上传到hadoop文件目录下
    hadoop fs -mkdir /input         //在HDFS的根目录下新建 input 目录
    hadoop fs -put classic story.txt /input //将本地的txt文件上传到HDFS的 input 目录下
    hadoop fs -ls -R /           //查看文件是否成功上传到HDFS上面
    

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    4.3 在电脑写一个wordcount程序,生成jar包
    WordCount程序代码如下:

    import java.io.IOException;
    import java.util.StringTokenizer;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.LongWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Job;
    import org.apache.hadoop.mapreduce.Mapper;
    import org.apache.hadoop.mapreduce.Reducer;
    import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
    import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
    import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
    import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
    public class WordCount {
    	public static class WordCountMap extends
    			Mapper<LongWritable, Text, Text, IntWritable> {
    		private final IntWritable one = new IntWritable(1);
    		private Text word = new Text();
    		public void map(LongWritable key, Text value, Context context)
    				throws IOException, InterruptedException {
    			String line = value.toString();
    			StringTokenizer token = new StringTokenizer(line);
    			while (token.hasMoreTokens()) {
    				word.set(token.nextToken());
    				context.write(word, one);
    			}
    		}
    	}
    	public static class WordCountReduce extends
    			Reducer<Text, IntWritable, Text, IntWritable> {
    		public void reduce(Text key, Iterable<IntWritable> values,
    				Context context) throws IOException, InterruptedException {
    			int sum = 0;
    			for (IntWritable val : values) {
    				sum += val.get();
    			}
    			context.write(key, new IntWritable(sum));
    		}
    	}
    	public static void main(String[] args) throws Exception {
    		Configuration conf = new Configuration();
    		Job job = new Job(conf);
    		job.setJarByClass(WordCount.class);
    		job.setJobName("wordcount");
    		job.setOutputKeyClass(Text.class);
    		job.setOutputValueClass(IntWritable.class);
    		job.setMapperClass(WordCountMap.class);
    		job.setReducerClass(WordCountReduce.class);
    		job.setInputFormatClass(TextInputFormat.class);
    		job.setOutputFormatClass(TextOutputFormat.class);
    		FileInputFormat.addInputPath(job, new Path(args[0]));
    		FileOutputFormat.setOutputPath(job, new Path(args[1]));
    		job.waitForCompletion(true);
    	}
    }
    

    4.4 将wordcount.jar放到root目录中
    在这里插入图片描述
    在这里插入图片描述
    4.5 执行wordcount程序

    hadoop jar /root/wordcount.jar WordCount /input /output     
    

    在这里插入图片描述
    在这里插入图片描述
    4.6 记录结果文件
    在这里插入图片描述
    在这里插入图片描述
    如果要从HDFS中删除文件,可以使用以下命令:

    hadoop fs -rm -r -skipTrash /path_to_file/file_name
    

    五、 拓展
    What do you think about the Cloud Computing?
    在这里插入图片描述
    什么是云计算?狭义的云计算是指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的资源(硬件、平台、软件)。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。这种特性经常被称为像水电一样使用IT基础设施。广义的云计算是指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件、互联网相关的,也可以是任意其他的服务。

    展开全文
  • 云计算[转]

    2013-06-15 12:05:00
    云计算 ...某门课程的Open Topic,我的话题是关于云计算的,读了一篇技术报告 Above the Clouds: A Berkeley View of Cloud Computing。 这是 UCB 的 RAD(Reliable Adaptive Distributed)...
  • 作为信息安全课程期末报告,本文将通过探讨云计算环境和研究漏洞扫描技术,提出运用漏洞扫描技术解决云计算环境中安全缺陷的办法。

空空如也

空空如也

1 2 3 4
收藏数 65
精华内容 26
关键字:

云计算课程报告