精华内容
下载资源
问答
  • 云计算集群
    千次阅读
    2017-06-04 23:00:15
    集群技术主要分成三大类( 高可用集群, 负载均衡集群,科学计算集群)
    高可用集群
    1.高可用的概念
    高可用集群的英文全称是High Availability,简称HA cluster。高可用的含义是限度地可以使用。从集群的名字上可以看出,此类集群实现的功能是保障用户的应用程序持久、不间断地提供服务。
    当应用程序出现故障,或者系统硬件、网络出现故障时,应用可以自动、快速地从一个节点切换到另一个节点,从而保证应用持续、不间断地对外提供服务,这是高可用集群实现的功能。
    2.常见的HA Cluster
    常说的双机热备、双机互备等都属于高可用集群的范畴,这类集群一般都由两个或两个以上节点组成。典型的双机热备结构如图15-1所示。
    服务器集群技术的分类
    双机热备是最简单的应用模式,即经常说的active/standby方式。它使用两台服务器,一台作为主服务器,运行应用程序对外提供服务;另一台作为备机,安装和主服务器一样的应用程序,但是并不启动服务,处于待机状态。主机和备机之间通过心跳技术互相检查,监控的资源可以是网络、操作系统,也可以是服务,用户可以根据自己的需要,选择需要监控的资源。当备份监控到主机的某个资源出现故障时,根据预先设定好的策略,首先将IP切换过来,然后将应用程序服务也接过过来,接着由备机对外提供服务。切换过程时间非常短,用户根本感觉不到程序出了问题,而且还进行了切换,从而保障了应用程序持久、不间断地服务。
    双击互备是在双机热备的基础上,两个相互独立的应用在两个机器上同时运行,互为主备,即两台服务器是主机也是备机。当任何一个应用出现故障,另一台服务器都能在短时间内将故障机器的应用接过过来,从而保障了服务的持续、无间断运行。双机互备的好处是节省了设备资源,两个应用的双机热备至少需要4台服务器,而双机互备仅需要两台服务器即可完成高可用集群功能。但双机互备也有自身的缺点:在某个节点故障切换后,另一个节点上同时运行了两个应用的服务,有可能出现负载过大的情况。多机互备是双机热备的技术升级,通过多台及其组成一个集群,可以在多台机器之间设置灵活地接管策略。
    注意
    高可用集群不能保证应用程序数据的安全性,他仅仅解决的是对外提供持久不间断的服务,把因软件、硬件、网络和人为因素造成的故障而对应用造成的影响降低到程序。
    3.高可用集群软件
    高可用集群一般是通过高可用软件来实现的。在Linux下常用的高可用软件有HearbeatHA,Red Hat提供的RHCS,商业软件ROSE,keepalived等。
    负载均衡集群
    负载均衡集群也是由两台或者两台以上的服务器组成。分为前端负载调度和后端服务两个部分。负载调度部分负载把客户端的请求按照不同的策略分配给后端服务节点,而后端节点是真正提供营养程序服务的部分。与HA Cluster不同的是,负载均衡集群中,所有的后端节点都处于活动动态,它们都对外提供服务,分摊系统的工作负载。
    负载均衡集群可以把一个高负荷的应用分散到多个节点共同完成,适用于业务繁忙、大负荷访问的应用系统。但是它也有不足的地方;当一个节点出现故障时,前端调度系统并不知道此节点已经不能提供服务,仍然会把客户端的请求调度到故障节点上来,这样访问会失败。为了解决这个问题,负载调度系统一般都引入了节点监控系统。
    节点监控系统位于前端负载调度机上,负责监控下面的服务节点。当某个节点出现故障后,节点监控系统会自动将故障节点从集群中剔除;当此节点恢复正常后,节点监控系统又会自动将其加入集群中,而这一切,对用户来说是完全透明的。图15-2显示负载均衡集群的基本结构。
    服务器集群技术的分类
    负载均衡集群可以通过软件方式实现,也可以由硬件设备来完成。
    科学计算集群
    高性能计算集群,简称HPC集群。这类集群致力于提供单个计算机所不能提供的强大计算能力,包括数值计算和数据处理,并且倾向于追求综合性能。HPG与超级计算类似,但是又有不同,计算速度是超级计算追求的目标。的速度、的存储、最庞大的体积、最昂贵的价格代表了超级计算的特点。随着人们对计算速度需求的提高,超级计算也应用到各个领域,对超级计算追求单一计算速度指标转变为追求高性能的综合指标,即高性能计算。
    HPC的应用领域非常广泛,典型应用有成么科学研究、基因测试对比、数据挖掘应用、石油和天然气勘探、图像呈现等。

    负载均衡和高可用性的侧重点不同。负载均衡不一定意味着高可用性

    假设我们在机房里建起了一个访问量很高的网站,然后我们用一个负载均衡器,三台完全相同的Tomcat服务器,实现了负载均衡,所有流量都会被按某种算法分配给三台服务器。

    那么,这个系统是高可用的吗?并不一定。如果只考虑Tomcat服务器的话,我们使用了三台服务器,比只用一台服务器的确既增加了负载平衡又增加了可用性。但是,从整个系统的角度来看,增加服务器的数量,只能算提高系统可用性的一个方面。

    高可用性意味着高MTBF(平均故障间隔)和低故障恢复时间,也就是系统连续长时间运行,且能从当机状态快速恢复运行的能力。很明显,上述系统没达到这两个条件。
    首先,它有多个单点故障点:
    一个负载均衡器,一套网络设备、供电设备,等(软件方面)。
    这注定使系统MTBF受到极大制约。

    提高MTBF的方法很直观:备份。为了消除第二个单点故障,备份组件还需要处于不同地理位置。这样的话,就算一个位置断网、停电,其他位置的系统都能继续运行。如果再考虑到地震、洪水等自然灾害和其他因素,备份组件甚至需要处于不同城市、不同国家。

    其次,虽然有了备份,系统还是有当机的可能性,所以我们还需要考虑系统当机之后快速恢复系统功能,也就是缩短故障恢复时间。这需要缩短故障反应时间并合理保存系统状态等,不再详述。

    所以,负载均衡只能提高部分系统可用性(以服务器热备的形式),为了提高系统的可用性,我们还需要综合考虑其他因素。

    转 http://server.zzidc.com/fwqjs/322.html

    更多相关内容
  • Linux云计算集群架构师课程大纲-V9.5
  • 并行计算并行计算是相对于串行计算来说的可分为时间上的并行和空间上的 并行 时间上的并行就是指流水线技术而空间上的并行则是指用多个处理器并 发的执行计算并行计算的目的就是提供单处理器无法提供的性能处理器...
  • 云计算集群架构

    2014-03-03 13:35:02
    这里详细讲解了云计算的主要集群架构方式,详细介绍了几种常见的架构!
  • 基于模糊聚类的云计算集群资源调度算法.pdf
  • 云计算课程02分布式计算.ppt
  • 基于弹性云计算集群的国际TEAM Problem 7基准问题计算方法.pdf
  • 基于改进的时间序列算法的云计算集群故障预测的研究.pdf
  • 基于云计算集群扩展中的调度问题研究.pdf
  • 为了达到更为经济的扩展集群的目的,从使用云计算扩展集群的角度出发,提出了一种集群扩展的基本构架;描述了本地优先策略和云环境优先策略,并根据云计算的特点,提出了一种基于计算强度的新型调度策略。此外,设计了调度...
  • 为了达到更为经济的扩展集群的目的,从使用云计算扩展集群的角度出发,提出了一种集群扩展的基本构架;描述了本地优先策略和云环境优先策略,并根据云计算的特点,提出了一种基于计算强度的新型调度策略。此外,设计...
  • 为此,本文讨论并实现了基于云计算的神经网络学习算法。 首先,已经设计了一些实验来验证基于云计算的神经网络机器学习的可行性。 其次,被应用于特定的人脸识别,语音识别,情感计算等问题。 最后,通过实验验证,...
  • Research and Implementation of a Distributed Network Measurement System Based on Cloud Computing * 5 Zhang Qing, Jin Yuehui (Institute of Network Technology, Beijing University of Posts & Telecommuni
  • 课程提供详细的课堂笔记,让你体验保姆式学习体验,并安排讲师做24小时内答疑,如果遇到问题请第一时间留言,我们会及时安排讲师答疑 《Linux云计算架构师》全套课程。
  • Linux 运维学院由 腾讯运维专家团和学神 IT 教育 联合打造 /cates/linuxCategory/index.html 第一阶段Linux 操作系统管理入门到精通 课程模块 课程要点 项目案例 Unix/Linux 系统介绍 如何成为一个优秀的 linux 运维...
  • 这本工具书,深入浅出的详解了Linux系统的使用。是工作学习的必备工具书之一。
  • 拥有一个私人的云计算平台是一件很酷的事情。随着技术的发展,实现这一愿望已经变得相当容易。接下来就来说明如何利用树莓派硬件和相关软件搭建一个用于边缘计算的小型云计算集群。1 硬件准备硬件优先...

    拥有一个私人的云计算平台是一件很酷的事情。随着技术的发展,实现这一愿望已经变得相当容易。接下来就来说明如何利用树莓派硬件和相关软件搭建一个用于边缘计算的小型云计算集群。

    1 硬件准备

    硬件优先考虑树莓派。选择ARM而不是x86架构硬件,主要是考虑到该云计算平台主要用于私人,家庭以及边缘计算等应用场景。一方面,ARM硬件相对便宜,功耗低,性价比更高;另一方面树莓派拥有成熟的社区生态,可用的软件也比较丰富。

    选择1. 树莓派3B及其之前的版本

    树莓派3B及其之前的版本由于不支持以太网口供电(PoE), 因此需要额外的USB供电插头。所有树莓派板子都连接到一个交换机/路由器,如下图所示

    100bece4c95689d4857aa730ba5a6de9.png

    选择2. 树莓派3B+,树莓派4B

    树莓派3B+/4B拥有以太网口供电(PoE)功能, 因此可省去USB供电插头。所有树莓派板子都连接到一个支持PoE功能的交换机/路由器,如下图所示

    47334e057bc9e7f647e1223f7c271453.png

    选择3. Turing Pi主板 + 树莓派计算模块

    • 关于树莓派计算模块

    上面介绍的树莓派3B, 3B+, 4B等板子其实可以拆解成如下两部分,即: 计算模块和计算模块IO扩展板.

    a40ca8fe12695be3cceb21e028bf280c.png 4e829428e074b57e758d62571c357b3b.png 9c43265140f1d39304a6a7dbc4f1aaac.png 971bb0662df85a53cf979e9616d4d1ec.png

    将计算模块和计算模块IO扩展板结合起来功能就和上述的树莓派3B, 3B+, 4B 一致。

    2424b44983bfb95aecb8a58e4be64dd2.png
    • 关于Turing Pi主板

    利用Turing Pi主板加可扩展树莓派计算模块的方式搭建集群十分的方便。该板最大支持7块树莓派计算模块,并可进行动态扩展,类似于数据中心的刀片服务器 (blade server)。

    58f412808c00bf92b18dcd3d48ca09e7.png

    Turing Pi同时支持带eMMC的计算模块和不带eMMC的计算模块,其第一个槽可用于烧写操作系统镜像到计算模块eMMC。对于不带eMMC的计算模块可以通过传统的插SD卡的方式启动。

    2 烧写树莓派系统

    2.1 系统选择

    推荐如下两个系统

    • Raspbian: 官方系统

    • HypriotOS: 容器操作系统

    2.2 烧写系统

    选择1. 烧写系统到SD卡

    具体步骤参考 https://www.raspberrypi.org/documentation/installation/installing-images/README.md

    选择2. 烧写系统到树莓派计算模块的eMMC

    具体步骤参考 http://raspberrypiwiki.com/How_to_Burning_System_for_the_eMMC_of_Raspberry_Pi_Compute_Module

    所有单板都烧写好后按照硬件准备中的描述连接好,并将每个板子配置好ssh连接,将公钥放置在~/.ssh/authorized_keys里面,以方便连接。确保可以通过***ssh @***能连上集群中每一个树莓派节点。

    3 安装Kubernetes并连接集群

    3.1 安装Kubernetes

    Lightweight Kubernetes (K3S) 是一个面向IoT及边缘计算的Kubernetes版本,比较适合树莓派等资源有限的硬件。

    • 方式1:在每个树莓派板子上单独安装

    在server节点上运行

    curl -sfL https://get.k3s.io | sh -

    在每个worker节点上运行

    curl -sfL https://get.k3s.io | K3S_URL=https://<server_ip>:6443 K3S_TOKEN=sh -

    PS: K3S_TOKEN: 存在server节点的 /var/lib/rancher/k3s/server/node-token.

    • 方式2:使用Ansible自动化安装

    先在控制机上安装Ansible

    sudo apt update

    sudo apt install software-properties-common

    sudo apt-add-repository --yes --update ppa:ansible/ansible

    sudo apt install ansible

    下载k3s-ansible

    git clone https://github.com/rancher/k3s-ansible.git

    然后按照 https://github.com/rancher/k3s-ansible 的步骤,在inventory/my-cluster/hosts.ini里配置好server (master) 节点和worker(node)节点的IP地址。

    运行如下命令,Ansible会将K3S自动安装在集群的server节点和每个worker节点上

    ansible-playbook site.yml -i inventory/my-cluster/hosts.ini --ask-become-pass

    3.2 连接集群

    在控制机上安装kubectl

    sudo apt-get update && sudo apt-get install -y apt-transport-https gnupg2

    curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -

    echo "deb https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee -a /etc/apt/sources.list.d/kubernetes.list

    sudo apt-get update

    sudo apt-get install -y kubectl

    将配置文件从server节点拷贝至控制机并配置环境变量

    scp <user_name>@<server_ip>:~/.kube/config ~/.kube/rasp-config

    export KUBECONFIG=~/.kube/rasp-config

    连接查看集群

    kubectl get nodes

    大功告成,接下来就可以部署服务到集群了。

    【转自https://calinyara.github.io/technology/2020/06/08/raspberry-cluster.html】

    334bd7698284c2a7880453b2416280b1.png

    5T技术资源大放送!包括但不限于:C/C++,Arm, Linux,Android,人工智能,单片机,树莓派,等等。在上面的【人人都是极客】公众号内回复「peter」,即可免费获取!!

    dd09aac31d6c64bed994a5a31408ab83.gif 记得点击分享在看,给我充点儿电吧

    展开全文
  • 该文档来自OpenStack Days China 2016。北京海云捷迅科技有限公司高级软件架构师马力和华为以色列研究所高级软件架构师Omer Anson发表的题为“大规模云计算集群中的数据库一致性解决方案” 的主题演讲,欢迎下载!
  • 基于云计算的网络服务集群部署设计.pdf
  • 云计算知识,Fusionstorage逻辑架构,快照,HA,集群

    目录

    集群特性:

    内存复用技术:

    内存共享,写时复制:

    内存置换:

    内存气泡:

    NUMA:

    虚拟化NUMA:

    物理机NUMA:

    HA (High Available):

    热迁移:

    手工热迁移:

    动态资源调度(Dynamic Resource Schedule  ):

    动态电源管理DPM(Dynamic Power Management):

    IMC:

    快照:

    当连续执行生成快照操作后,会产生一条快照链

    Bridge:

    OVS(Open VSwitch):

    软SW特性:

    软SDN特性:

    EVS(Elastic Virtual Switch):

    DPDK(Data Plane Develop Kit):

     SR-IOV(Single Root-IOV):

    磁盘类型:

    从属:

    独立持久:

    独立非持久:

    普通删除:

    安全删除:

    OVS模拟路由:

    OVS搭建隧道:

    VAG支持HDP登录与VNC登录。

    VNC自助维护登录:

    SVN:

    ITA:

    VAG:

    VLB:

    Address Ticket:

    Login Ticket:

    FusionStorage:

    Block:

    Object:

    文件(NAS):

    FSA中有三个进程:

    VBS:


    集群特性:

    内存复用技术:

    内存共享,写时复制:

    当多台VM拥有相同的数据,将相同的数据映射给VM使用,当需要变化时,开辟出一处新内存写入新数据,再将原来的映射关系删除。

    内存置换:

    将内存数据分为冷数据,热数据,虚拟机内存资源不够时,VMM会将冷数据暂时放入后端存储中。

    内存气泡:

    将VM中暂时不用的内存,分配给其他虚拟使用,提高了内存资源的利用率。

    NUMA:

    虚拟化NUMA:

    优先Node中的资源,主机默认支持NUMA,在BIOS中默认开启 。

    物理机NUMA:

    现在每个CPU都会有自己对应的内存控制器与内存插槽,当CPU访问其他CPU绑定的内存空间时,会比访问自身内存空间慢三倍左右,所以现在的系统内核会尽量的把内存页与调用线程放在同一个核心中。

    注:NUMA与内存复用互斥。

    HA (High Available):

    高可用性,目地是为了保障业务的连续性,且有故障重启的特性,开启方式要现在集群中开启,再在VM上开启。当VM所处的CAN节点故障后,VRM会将VM迁移到其他CAN节点上,方案有n+x,x代表最少迁移n-x台。使用前提CAN之间需要共享存储。

    安装Tools会在VM中安装一个VVP Monitor,VVP Monitor会将VM所处的启动阶段上报给VRM。

    热迁移:

    必须处于同一个数据存储,必须使用同一个DVS (VMIP地址不能改变),DRS方式迁移要处于同一个集群。

    手工热迁移:

    由管理员手动迁移,迁移范围可以跨集群。

    • 主机热迁移:
    • 存储热迁移:
    • 主机+存储热迁移:

    动态资源调度(Dynamic Resource Schedule  ):

    由负载分担触发,迁移范围在集群内。

    动态电源管理DPM(Dynamic Power Management):

    绿色节能,更根业务高峰期与业务低峰期,将业务合理分担,达到节能的目地。开启DPM前提要开启DRS。空载下电,重载上电,轻载合并。

    IMC:

    面对Intel不同版本的CPU,新代指令集会在旧代指令集上添加新的指令,面对这种使用不同版本的CPU主机之间迁移,需要开启IMC使新代CPU向下协商指令集,使得服务器能够识别VM发送的指令集。注意:IMC只支持Intel的CPU。

    快照:

    当连续执行生成快照操作后,会产生一条快照链

     快照还分为即使快照与全量快照,全量快照没有依赖关系,即使快照有着依赖关系,依赖快照链上的快照来读取数据。生成全量快照业务必须离线。

    即时快照在NAS存储(文件系统)中被称为ROW(Redirect On Write),在SAN存储(LUN)中被称为COW(Copy On Write)。

    Bridge:

    网桥,在华为中常见简写为qbr。

    OVS(Open VSwitch):

    首款纯SDN软件支持基于流转发,简写Ply。

    软SW特性:

    Port安全、QoS限速、LACP捆绑、Openflow / sFlow

    软SDN特性:

    基于MAC表 / 桥表转发、基于流表转发(流表由Match,Active组成)

    EVS(Elastic Virtual Switch):

    弹性虚拟交换机,基于OVS开发的,提升了其IO性能。

    OVS+DPDK

    DPDK(Data Plane Develop Kit):

    数据平面开发包,用户态借助DPDK越过内核态将流量推

    送到网卡上。需要网卡支持如:Intel 82599网卡。

     SR-IOV(Single Root-IOV):

    单根IOV,将物理网卡分为PF(Physical Function)与VF(Virtual Function),一个VF就代表一张虚拟网卡,一个VF映射给一台VM,VM需要安装相应的驱动。由硬件直接虚拟化,然后映射VM,不需要经过VMM的准换,性能更优。

    DVS是一款管理平面的逻辑交换机,他负责向主机中的DVS Agent下发指令创建相应的OVS/SR-IOV/EVS,在主机上做交换的是相应的O、S、E交换机。

    磁盘类型:

    从属:

    作为普通磁盘绑定给虚拟机,可以做快照。

    独立持久:

    数据持久写入,重启等操作不会丢弃对数据的修改,不能做快照。

    独立非持久:

    数据暂时写入,重启,回滚快照会丢弃对磁盘的修改。

    普通删除:

    删除文件系统中的目录,但数据并未删除,有恢复的可能性。

    安全删除:

    在删除目录的前提下,将数据存储进行性擦写。

    两台OVS,OVS与OVS之间相连的端口类型为Patch

    OVS模拟路由:

    OVS在虚拟网络中还可以结合控制器的相关操作实现不同局域网网络拓扑下主机的数据转发,实现路由转发功能,上图的虚拟主机B和虚拟主机F所连接的边缘OVS属于不同的局域网,无法进行原始的二层转发。而可以通过将局域网中的ARP报文送到控制器让控制节点对Openflow网络中的网络节点进行感知,获取openflow中的网络设备信息,然后将相应的ARP流表下发到组网中的边缘OVS上,使得属于非同一局域网的主机可以互相通信。

    OVS搭建隧道:

    作为边缘设备的OVS可以参与隧道的搭建,例如GRE隧道和VXLAN隧道。隧道指报文采用某种特定协议进行传输的通道。例如VXLAN隧道,原始报文在经过上层报文封装后,到达VTEP节点再进行VXLAN协议封装,然后经过VXLAN隧道转发路径发出。VXLAN隧道中的VTEP节点可以有OVS实现,OVS能实现VTEP负责的VXLAN报文解析封装、转发、地址学习等功能。OVS的VXLAN隧道技术被广泛运用于云服务的多租户隔离中。

    VAG支持HDP登录与VNC登录。

    VNC自助维护登录:

    通过VNC登录是连接到VRM,通过VRM找到VM的API来进行登录进行维护。

    SVN:

    是VPN网关,也能提供硬件的VLB解决方案。

    FsionAccess:

    ITA:

    IT Adapter,IT适配器,面向管理员的Web界面。

    VAG:

    VLB:

    Virtua Load Balancing虚拟负载均衡器。

    Address Ticket:

    HDC向VAG返回一个AT,与LT,Ticket是一串随机字符,登录时需要到HDC请求详细的VM的IP地址与Port号,通过Login Ticket验证登录虚拟机。

    Login Ticket:

    是一串随机字符,可以给HDC进行解密得到用户名与密码。

    FusionStorage:

    使用服务器作为存储设备,分布式块存储软件,在计算服务器上安装FS的驱动,在存储服务器上安

    装Liunx的系统及FS软件,将存储服务器组成一个FS存储池,并使用副本机制来保证数据的安全性。

    FS支持的存储类型:

    Block:

    块存储—Array(SCSI),运用在企业中,面向的是企业用户,数据量少,但是价值密度高(财务报表等)。

    Object:

    对象存储—Restful / Http,运用在互联网中(数据量大,价值密度低)。

    文件(NAS):

    CIFS / NFS

    FS与传统SAN的对比

    FS中的SCSI接口由计算节点上的FS组件提供。

    SAN存储中SCSI接口在存储设备的控制器上(机头)。

    FSA中有三个进程:

    VBS(计算节点)、MDC(管理节点)、OSD(存储节点),更具FSM下发的配置调用不同的进程组合完成特定的功能。

    Neutron前身叫Quantum所以在Neutron中的交换机简称qbr

    一块磁盘默认部署一个OSD进程,当用户的I/O数据通过I/ODate|TCP|IP,的报文格式进入FSA时,通过TCP端口号来决定数据写入哪块磁盘,一个OSD进程侦听一个TCP端口,以IP地址加端口号的形式来决定数据的存储位置。

    VBS:

    块客户端接口,提供分布式集群接入点服务,在计算节点服务器上安装入口VBS,由操作系统进行调用,访问存储时,OS会找SCIS进程,SCIS将数据交由VBS进行对存储池的写入或读取。

    其他服务器需要接入FS,需要在本地开启VBS进程。

    展开全文
  • 基于云计算集群式供应链协同管理结构模型研究.pdf
  • sudo passwd root 输入当前用户密码之后,然后输入想要更改的密码 退出登陆之后就可以使用root登录了
  • [root@hadoop1 sword]# yum install docker-ce-18.03.0.ce

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 66,017
精华内容 26,406
关键字:

云计算集群