精华内容
下载资源
问答
  • 云计算学习笔记

    2020-01-24 13:21:20
    云计算学习笔记 云计算学习笔记
  • 云计算学习笔记一:云计算的技术发展回顾 文章目录云计算学习笔记一:云计算的技术发展回顾1. 云计算的技术概念发展(1) 效应计算(Utility Computing)阶段(2) 网格计算(GRID Computing)阶段(3) 云计算(Cloud ...


    云计算是伴随着IT不再重要的理念而提出的。云计算实际上是一个商务和技术的结合,同时也是商务和技术共同推动的结果。实际上技术是基础,商务是应用。

    云计算学习笔记一:云计算的技术发展回顾

    1. 云计算的技术概念发展

    (1) 效应计算(Utility Computing)阶段

    ”效应计算“这个概念于1961年被人工智能之父麦肯锡(John McCarthy)在一次会议上提出,其核心是借鉴了电厂模式,具体的目标是整合分散在各地的服务器,存储系统以及应用程序来共享给多个用户,让人们使用计算机资源就像使用电力资源一样方便,并且根据用户使用量来付费。

    (2) 网格计算(GRID Computing)阶段

    网格计算就是化大规模计算为许多小部分计算的方式,研究的是如何把一个需要非常巨大的计算能力才能解决的问题分成许多小部分,然后把这些小部分分配到许多低性能的计算机来处理,最后把这些结果综合起来解决大问题。

    (3) 云计算(Cloud Computing)阶段

    云计算的核心与效应计算和网格计算非常类似,也是希望IT技术能像使用电力那样方便,并且成本低廉。但与效应计算与网格计算最大的不同是,现在的商务需求已经成熟,特别是SaaS的发展,驱动了云计算服务的发展,同时在技术方面也已经成熟了。

    2. 云计算的相关技术的发展

    在技术层面,云计算是在分布式计算、并行计算、虚拟化技术和海量存储技术基础之上发展而来。

    1) 并行计算(Parallel Computing)

    并行计算是指同时使用多种计算资源问题的过程,为执行并行运算,通常的计算资源包括一台或多台配有多CPU或计算处理单元的计算机和网络资源,并行计算的主要目的是快速解决大型且复杂的计算问题。

    通常计算问题表现为以下特征:

    • 将工作分离成离散部分,有助于同时解决。
    • 随时并及时地执行多个程序指令。
    • 多计算资源下解决问题的耗时要少于单个计算资源下的耗时

    云计算与并行计算的联系与区别:

    (1) 云计算萌芽于并行计算

    (2) 并行计算、网格计算只用于特定的科学领域、专业的用户

    (3) 并行计算追求的高性能

    (4) 云计算对单节点的计算能力要求低

    2) 分布式计算和网格计算

    分布式计算(Distributed Computing) 是一门计算机科学,它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分,如何把这些部分分配给许多计算机进行处理,最后把这些计算结果综合起来得到最终的结果。

    分布式计算比起其他算法具有以下几个有点:

    1. 稀有资源可以共享
    2. 通过分布式计算可以在多台计算机上平衡计算负载
    3. 可以把查询放在最适合它的计算机上

    ​ 其中,共享稀有资源和平衡负载是计算机分布式计算的核心思想之一。

    分布式计算使用的操作系统包括分布式操作系统、网络操作系统、基于中间件的操作系统。其他分布式操作系统又包括多处理器系统和多机系统。

    网格计算是(GRID Computing)分布式计算的一种。网格计算是伴随着互联网而迅速发展起来的,专门针对复杂科学技术的新型计算 模式。这种计算模式是利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”,其中每一台参与计算的计算机就是一个“节点”,而整个计算是成千上万个“节点”组成的“一张网格”,所以这种计算方式叫网格计算。这样组织起来的“虚拟的超级计算机”有两个优势,一个是数据处理能力超强;另一个是能充分利用网上的闲置处理能力。

    网格计算和云计算相似之处:并行与合作的特点。

    网格计算与云计算的区别:

    • 网格计算的思路是聚合分布资源,支持虚拟组织,提供高层次的服务,例如分布协同科学研究等。
      而云计算的资源相对集中,主要以数据中心形式提供底层资源的使用,并不是强调虚拟组织的概念。
    • 对待异构性方面,二者理念上有所不同。网格计算用中间件屏蔽异构系统,力图使用户面向同样的环境,把困难留在中间件,让中间件完成任务。
      而云计算实际上承认异构,用镜像执行,或者提供服务的机制来解决异构性的问题。

    云计算是以相对集中的资源,运行分散的应用(大量分散应用在若干大的中心执行);而网格计算则是聚合分散的资源,支持大型集中式应用(一个应用分到多处执行)。但从根本上来说,从应对互联网的应用的特征特点来说,他们是一致,为了完成在Internet情况下支持应用,解决异构性、资源共享等问题。

    3. 虚拟化技术和海量数据处理技术

    3.1 虚拟化技术

    虚拟化(virtualization)是将计算机物理资源如服务器、网络、内存级存储等予以抽象、转换后呈现出来,使用可以比原本的组态更好的方式来应用这些资源。

    通常虚拟化的目标是管理任务的集中,同时要提高整体硬件资源可扩展性和利用率。

    1959年,克里斯托弗(Christopher Strachey) 发布了一篇学术报告,名为"大型高速计算机中的时间共享"(Time Sharing in Large Fast Computers) ,他在文中提出了虚拟化的基本概念,这篇文章也被认为是虚拟化技术的最早论述。

    3.2 海量数据处理技术

    海量数据(mass data) 处理技术实际上涉及到存储和数据库两个方面。

    ① 对象存储技术

    对象存储模式一般由client、MDS (Metadata Server) 和 OSD (Object Storage Device) 三部分组成。

    • Client 为客户端,用来发起数据访问;
    • MDS 为服务器,用来管理对象存储系统中的元数据并保证访问的一致性;
    • OSD 为存储对象数据的设备,它是一个智能设备,包括处理器、RAM内存、网络接口、存储介质等以及运行在其中的控制软件。

    对象存储设备 (OSD) 中,将对象 (object) 作为对象存储的基本单元,每个对象具有唯一的 ID 标识符。

    对象存储模式的特性使其在处理海量数据存储请求时具有较大优势,主要体现在:

    • 高性能数据存储:访问节点有独立的数据通路和元数据访问通路,可以对多个 OSD 进行并行访问,从而解决了当前存储系统的一个性能瓶颈问题。
    • 跨平台数据共享:由于在对象存储系统上部署基于对象的分布式文件系统比较容易,所有能够实现不同平台下的设备和数据共享。
    • 方便安全的数据访问:I/O 通道的建立及数据的读写需要经过授权许可才能镜像,从而保证了数据访问的安全性;另一方面,任何 client 都可以通过对象存储系统提供的标准文件接口访问 OSD 上的数据;统一的命名空间使 client 访问数据的一致性得到了保证。
    • 可伸缩性:对象存储模式具有分布式结构的特性。由于 OSD 是独立的智能设备,可以通过增加 OSD 数量,使存储系统的聚合 I/O 带宽、存储容量和处理能力得到提高,这种平衡扩展模式使得存储系统能够具有良好的可伸缩性。
    • 智能的存储设备:OSD 中集成了部分的存储管理功能,因此 OSD具有一点智能的自主存储功能。

    ② 数据库策略

    实现高性能的海量数据存储可采取的数据库策略有:

    • 分区技术:为了更精细地数据库对象如表、索引级索引编排表进行管理和访问。可以对这些数据库对象进行进一步的划分,这就是所谓的分区技术。
    • 并行处理技术:为了提高系统性能,可以让多个处理器协同工作来执行单个SQL语句,这就是所谓的并行处理技术。

    参考文献

    [1] 陈赤榕.云计算服务运营管理与技术架构[M].北京:清华出版社,2014.8

    展开全文
  • Linux云计算学习笔记-1

    2021-06-06 18:09:12
    Linux云计算学习笔记-1 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。 新的改变 ...

    在这里插入图片描述
    计算机由硬件+软件组成,操作系统是最核心的软件,负责协调和管理上面运行的各种应用软件。

    Linux常用命令
    在这里插入图片描述

    问题:当用户执行一个命令时,Linux提供是按照什么逻辑和顺序来执行?
    1.系统先判断是否是别名,如果是,则执行
    2.如果不是别名,判断是否内部命令,是,执行
    3.如果不是内部命令,查询hash对应缓存区是否有命令对应路径,有,执行,如果找不到,提示没有此目录或文件
    4.按照path系统环境变量指定路径搜索并执行,没有则提示没有此命令

    展开全文
  • 云计算学习笔记day1

    2020-07-13 15:15:25
    个人学习笔记,小白初入门,水平有限,欢迎指正探讨。 云计算的意义 传统的使用中,我们需要基于自己的计算机去使用应用、实现各种操作。在购买计算机时,需要为硬件配置、操作系统、软件等支付费用,这部分费用有一...

    个人学习笔记,小白初入门,水平有限,欢迎指正探讨。

    云计算的意义

    传统的使用中,我们需要基于自己的计算机去使用应用、实现各种操作。在购买计算机时,需要为硬件配置、操作系统、软件等支付费用,这部分费用有一部分是预支给未来的。比如硬盘,大家倾向于购买大容量的硬盘,这是为日后的需求做好准备,而这部分钱在当下其实并没有发挥作用。并且在购买之后,个人对机器的维护管理也是一个无形的开支。
    而云计算,就是将这一切交给云提供商。

    云计算与云提供商

    云计算会租用其他公司计算机上的存储空间或 CPU 周期等资源,与传统方式不同的是,你只需要为你现在所用的部分付费。
    提供这些服务的公司称为云提供商,如Microsoft、Amazon 、Google。云提供商负责提供执行工作所需的物理硬件,并使其保持最新。 提供的计算服务往往因云提供商而异。

    常见的计算服务

    • 计算能力-例如用于计算和处理任务的 Linux 服务器或 Web 应用程序
    • 存储-例如文件、数据库
    • 网络-例如云提供商和公司之间的安全连接
    • 分析-例如可视化遥测和性能数据
      其中,计算能力和存储是所有云服务提供商都提供的两种最常见的服务。

    计算能力

    展开全文
  • 云计算学习笔记2

    2020-03-26 21:41:51
    map端的shuffle过程 分区、排序、合并 归并与合并是不同的操作 对溢写文件进行合并 合并:<“a”,1>,<“a”,1>得到<“a”,2> 归并:<“a”,<1,1>> map中存在本地磁盘 ...reduc...

    map端的shuffle过程
    分区、排序、合并
    归并与合并是不同的操作
    对溢写文件进行合并
    合并:<“a”,1>,<“a”,1>得到<“a”,2>
    归并:<“a”,<1,1>>
    map中存在本地磁盘
    只有内存放不下了,才放到磁盘中

    MapReduce执行过程:
    分片0~M

    实例:wordcount
    输入:单词
    输出:单词,词频

    reduce就是进行了一次求和
    矩阵和向量的乘法

    展开全文
  • 云计算学习笔记更新

    2014-12-31 13:34:42
    从今天起,每天学习一个小时的云计算相关知识,并做一些相关的笔记。 每周在博客上不定期更新相关的学习笔记和项目经验。
  • 上节Windows Azure云计算学习笔记1--Windows Azure简介中是对Azure的一个总体概览,这篇将第Windows Azure云计算做深入探讨。 创建Windows Azure应用 -----------------------------------------------------------...
  • 云计算的定义 美国国家标准与技术研究院(NIST)定义:云计算是一种模型,它可以实现随时随地、便捷地、随需应变地从可配置计算资源共享池中获取所需的资源(例如,网络、服务器、存储、应用、及服务),资源能够...
  • 当前,云计算已经成了其他领域的基石,同时,其他技术也推动了云计算的进一步发展,本文主要介绍云计算和其他领域的关系,并简单介绍了一些新兴和云计算相关的技术。 云计算相关领域介绍 物联网 物联网来源于互联网...
  • 云计算最广泛的一个定义就是:云计算是一种模型,它支持对共享的可配置计算资源池(例如,网络、服务器、存储、应用程序和服务)进行无处不在的、方便的、按需的网络访问,可以用最少的管理工作或服务提供者交互快速地...
  • “云”实质上就是一个网络,狭义上讲,云计算就是一种提供资源的网络,使用者可以随时获取“云”上的资源,按需求量使用,并且可以看成是无限扩展的,只要按使用量付费就可以,“云”就像自来水厂一样,我们可以随时...
  • 云计算模型能以按需方式,通过网络方便地访问云系统可配置计算资源共享池(比如:网络、服务器、存储、应用程序和服务)。一.云计算的三种交互方式核心服务层1.基础设施即服务(Infrastructure as a Service, IaaS)...
  • 一、网络 美国 贝尔实验室 Linux系统 C语言 ...GCC编译器 gcc hello.c .cc或.cpp ...优点:自动记录学习路由表,方便,执行效率低,不需要专业人士。 缺点:路由条目学习过程会比较耗时,造成通讯效率比较低。
  • Zabbix 一、安装zabbix 3.0 LTS 1:配置zabbix yum仓库 curl -o zabbix-release-3.0-1.el7.noarch.rpm https://mirror.tuna.tsinghua.edu.cn/zabbix/zabbix/3.0/rhel/7/x86_64/zabbix-release-3.0-1...
  • LVS 4个模式 LVS Linux Virtual Server lvs 被写入到Linux内核中 ip_vs 通过:keepalived(配置文件) 或ipvsadm(命令)进行控制 ipvsadm ipvs admin Sersync Jumpserver MyCAT 5.1 DR模式 1.... ...lvs ...
  • 找一本合适的教材,或者自己认真记笔记 多练习-思考-练习-思考,循环往复 1.5 解释型语言和编译型语言 1.5.1 编译型语言: 指用专用的编译器,针对特定的操作平台(操作系统)将某种高级语言源代码一次性翻译...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,165
精华内容 466
关键字:

云计算学习笔记