精华内容
下载资源
问答
  • 2009-10-21 12:02:00

    MSCS,SAFEKIT,AUOTOSTART,LIFEKEEPER,ROSE

    更多相关内容
  • windows集群

    2015-01-08 12:11:46
    windows集群搭建详细
  • windows建立Radis集群

    2018-08-02 09:24:04
    windows建立Radis集群,这个是我自己安装成功的radis集群,里面doc文档非常全面,里面附带最新的软件,小伙伴们不需要自己去下载,根据文档一步一步走,希望可以帮到大家,嗷嗷嗷
  • 常见集群(Cluster)软件和技术解析

    万次阅读 2017-09-13 22:16:26
    常见集群(Cluster)软件和技术解析

    集群就是通过软件将一组服务器作为一个整体向客户提供资源。这些单个的服务器就是集群的节点。当对外提供资源的节点故障后,集群中其余的节点能够将资源接管起来,继续对客户提供资源

    集群技术的核心就是资源访问控制。由于集群中所有节点都可以访问集群对外共享的资源,当多个节点同时操作同一个资源的时候,就可能引发问题。例如节点A要对共享的存储进行写数据操作,如果节点B也要对相同位置的存储进行写操作,则会引发数据不一致的后果。

    一般情况,根据集群资源访问控制技术的发展,我们可以将集群分为无预留模式SCSI-2预留模式和SCSI-3预留模式集群。不同模式的集群对存储系统的要求是不同的。

    最开始的时候,集群的模式为无预留。该模式下,最常见的控制方式是控制卷组状态。此时集群节点访问LUN的过程如下。

    • 1. 集群节点上对LUN创建卷组、逻辑卷。

    • 2. 集群节点启动集群业务。

    • 3. 集群判断哪个节点是主节点、哪个节点是备节点。

    • 4. 集群在主节点激活卷组、挂载逻辑卷。

    • 5. 集群在备节点去激活卷组,确保无法访问逻辑卷。

    这种工作模式下,对存储系统并没有额外的要求,只需要映射的LUN能够在操作系统上创建卷组、逻辑卷并正常读写即可。集群控制每个节点对LUN的访问是通过控制节点上卷组的状态来实现的。

    这种方式实现起来是最简单的,但是有一个非常严重的缺陷就是心跳不能出现问题。一旦出现脑裂(集群节点间心跳通信断开),集群节点间相互失去了联系,则每个节点都会误认为对方出现故障,从而引发节点抢占资源的情况。

    另外,在一个共享存储的环境下,多台前端主机可能会同时访问同一台存储设备,如果此时多台主机在同一时点上对一个LUN进行写操作,那么可想而知这个LUN将不知道哪个数据先写,哪个数据后写。为了防止这种情况发生而导致的数据损坏,所以就有了SCSI预留概念。通过SCSI Reservation机制来进行数据读写的操作,目前绝大多数的磁盘和阵列都支持SCSI reservvation命令。如果一台主机给磁盘阵列传输了一条SCSI Reservation命令,则这个磁盘阵列对于其他的主机就处于锁定状态。

    如果有其他的主机给已经被锁定的磁盘发送读写请求,则会收到Reservation Conflict报错信息。如果保留SCSI预留的主机崩溃,或者其他主机给磁盘阵列发送Break Reservation或者Reset Target命令用来解除SCSI锁。然后,第二个主机发送I/O请求之前需要重新发送SCSI Reservation命令给磁盘阵列,才可以进行后续的IO操作。SCSI预留有SCSI-2 Reservation和SCSI-3 Reservation两种类型,然而一个LUN上只能存在一种类型的SCSI预留

    为解决脑裂后集群节点抢占资源的问题,引入了SCSI-2预留模式的集群。在这种情况下,集群节点访问LUN的过程如下。

    • 1. 集群节点向需要访问的LUN发起预留操作。

    • 2. 预留操作成功后,则节点获得LUN操作权限;如果预留失败,提示预留冲突,会继续尝试,直到预留成功。

    • 3. 节点对LUN操作完毕后,执行释放操作,其他节点可以预留。

    通过使用这种预留方式,可以保证任意时刻均只有一个节点能访问共享资源,但是它要求存储系统支持SCSI-2预留命令集,同时也有下面的一些缺陷。

    • 1)预留基于路径。集群节点存在多路径的情况下,当前路径故障后,预留无法取消,无法对LUN继续访问,多路径相当于没有生效。

    • 2)谁预留谁释放。如果LUN已经被预留,其他节点将无法预留,除非对LUN进行重置操作。但是重置容易引发数据不一致。因为重置操作是不会通知原先预留主机的。

    由于SCSI-2 Reservation只允许设备被发出SCSI锁的Initiator访问,也就是主机的HBA。比如主机1上的HBA1对访问的LUN加上SCSI-2锁,此时即使主机1的HBA2也无法访问这个LUN。所以SCSI-2 Reservation也被称为Single Path Reservation

    为解决SCSI-2预留的问题,最终引入了SCSI-3持续预留的集群技术。在该模式下,集群节点在访问LUN之前,首先向LUN注册(Registration)一个预留密钥(Persistent Reservation key),注册成功后集群节点可以尝试进行持续预留(Persistent Reserve),持续预留成功后就可以获得LUN操作权限

    不同的主机对应的PR Key也不同,所以一般SCSI-3 Reservation通常被应用在多路径的共享环境下面。这里SCSI-3 Reservation也称之为Persistent Reservation。与SCSI-2不同,SCSI-3释放操作根据预留密钥,不同集群节点可以使用相同密钥或是不同密钥进行预留,具体可以结合持续预留类型决定。集群节点可以通过抢占来获取已被持续预留的LUN访问权限。SCSI-3抢占和SCSI-2重置不一样,抢占不会造成数据丢失。

    SCSI-3预留能够解决之前集群模式预留的问题,但是它对存储系统要求更高,要求其支持更多更复杂的SCSI-3预留命令集

    SCSI预留是多台主机用来操作LUN的基本机制。在Windows存储环境中,当多台Windows主机需要访问一个LUN的情况下,例如Windows Cluster环境,就会用到SCSI预留命令。接下来就Windows Cluster 2003/ 2008中使用到的SCSI预留命令进行介绍

    Windows 2003集群中使用SCSI-2 ReserveRelease命令。作为非持久的Reservation,集群中的一台节点会持有SCSI-2 Reservation的锁,然后每过3秒会重新刷新一次。如果故障转移发生,则切换节点主机会在相应的磁盘上放置SCSI-2 Reservation然后维护SCSI锁。如果所有节点主机上的集群服务都会关闭,Reservation也不会保留。

    Windows 2008集群中使用SCSI-3 Persistent Reservation机制。如果磁盘从主机上没有正确移除,集群使用的磁盘(Cluster Disk)会保留着这些Reservation。锁对应的SCSI预留会一直存在于相应的磁盘之上,即使集群服务被关闭或者磁盘对于主机取消映射(Unmasked)。所以,有些时候需要强行移除磁盘上的Reservation。

    温馨提示:请搜索“ICT_Architect”或“扫一扫”下面二维码关注公众号,获取更多精彩内容。

    展开全文
  • rose集群软件,容灾集群软件,最多支持4个主机搭建容灾集群,可靠真实。若资源失效可私信联系。该软件支持自动、手动容灾切换。你买不了吃亏,买不了上当。
  • 实达集群打印软件

    2020-03-04 08:47:27
    基于Windows系统的实达集群打印软件可以把各种中低速度的激光打印机虚拟成一个高速打印系统,对于应用系统而言虚拟出一个高速打印系统,让应用系统具备强大的海量打印能力,为广大用户提供一个低成本构建海量打印...
  • 利用WindowsServer2003软件来搭建服务器集群整理.pdf
  • 利用WindowsServer202x软件来搭建服务器集群.pdf
  • Windows_2008_R2+SQL_2008R2_集群环境搭建.
  • windows一键Redis-Cluster集群工具(32位和64位Redis-v3.0.504,以及64位Redis-v3.2.100),资源包括:ruby安装包,rubygem,32位Redis-v3.0.504,64位Redis-v3.0.504,64位Redis-v3.2.100,一键Redis-Cluster集群...
  • 集群内的主机物理上通过电缆连接,程序上则通过集群软件连接。这些连接允许主机使用故障应急与负载均衡功能,而故障应急与负载均衡功能在单机上是不可能实现的。集群系统是一个松耦合的多处理器系统,主机之间通过...
  • 一、集群知识1.集群的概念所谓的集群,就是通过添加服务器的数量,提供相同的服务,从而让服务器达到一个稳定、高效的状态。2.使用redis集群的必要性问题:我们已经部署好了redis,并且能启动一个redis,实现数据的...

    一、集群知识

    1.集群的概念

    所谓的集群,就是通过添加服务器的数量,提供相同的服务,从而让服务器达到一个稳定、高效的状态。

    2.使用redis集群的必要性

    问题:我们已经部署好了redis,并且能启动一个redis,实现数据的读写,为什么还要学习redis集群?

    答:(1)单个redis存在不稳定性。当redis服务宕机了,就没有可用的服务了。

    (2)单个redis的读写能力是有限的。

    总结:redis集群是为了强化redis的读写能力。

    3.如何学习redis集群

    说明:(1)redis集群中,每一个redis称之为一个节点。

    (2)redis集群中,有两种类型的节点:主节点(master)、从节点(slave)。

    (3)redis集群,是基于redis主从复制实现。

    所以,学习redis集群,就是从学习redis主从复制模型开始的。

    二、准备工作

    Redis下载地址:https://github.com/MicrosoftArchive/redis/releases

    Ruby语言运行环境下载:https://rubyinstaller.org/downloads/

    Redis的Ruby驱动redis-xxxx.gem下载:https://rubygems.org/pages/download

    创建Redis集群的工具redis-trib.rb:https://raw.githubusercontent.com/antirez/redis/unstable/src/redis-trib.rb

    PS:以上所有工具关注最下方公众号,点击软件目录,可以直接下载百度网盘

    三、安装配置Redis

    1.下载Redis-x64-3.2.100.zip,点击下载Redis

    34f68c362e592582d843668a7d83be75.png

    要让集群正常运作至少需要3个主节点,建议配置3个主节点,其余3个作为各个主节点的从节点(也是官网推荐的模式)。

    所以需要6台虚拟机,本文配置了6个节点,根据您的需求合理安排。

    主节点崩溃,从节点的Redis就会提升为主节点,代替原来的主节点工作,崩溃的主Redis恢复工作后,会再成为从节点。

    2.创建Redis集群目录,把 redis 解压后,再复制出 11份,配置 六主六从集群。 由于 redis 默认端口号为 6379,那么其它5份的端口可以为6380,6381,6382,6383,6384,6385,6386,6387,6388,6389,6390 并且把目录使用端口号命名,如下图示例:

    667ac199629b682fed1b12a05c71b8fc.png

    3.修改配置文件,打开每个Redis目录下的文件 redis.windows.conf,修改里面的端口号分别对应相对应的文件夹名:6379、6380,6381,6382,6383,6384,6385,6386,6387,6388,6389,6390再修改集群支持配置,将以下配置前面的#去掉。

    cluster-enabled yes

    cluster-config-file nodes-6379.conf

    cluster-node-timeout 15000appendonly yes

    73be5b72438288954dc08a680b5ec7da.png

    cluster-config-file nodes-6379.conf 是为该节点的配置信息,这里使用 nodes-端口.conf命名方法。服务启动后会在目录生成该文件。

    4.编写启动脚本,或者进入每个端口命名的文件夹下启动服务,编写一个 bat 来启动 redis,在每个节点目录下建立 startup.bat,内容如下:

    title redis-6379redis-server.exe redis.windows.conf

    title命名规则 redis-相对应的端口。

    四、安装Ruby

    1. redis的集群使用  ruby脚本编写,所以系统需要有 Ruby 环境 ,点击下载Ruby 环境

    697887d3ff23082d1149cd013e7b121d.png

    2.下载成功后,点击安装,三个都要选上后下一步(安装位置不要使用中文)。

    11a32c62b60644c27504cecaf1954ab3.png

    五、安装Redis的Ruby驱动redis-xxxx.gem

    1.点击下载redis-xxxx.gem

    0715f04a7f1c5ca6a18e05d90ab2f99f.png

    2.下载成功后,解压当前目录切换到解压目录中,如C:\Users\fuzongle\Desktop\redis集群\redis-cluster\rubygems-3.1.4 然后命令行执行  ruby setup.rb,

    再用 GEM 安装 Redis :切换到redis安装目录,需要在命令行中,执行 gem install redis

    e407344bb75ee4ec0bbdbe957f8e7033.png

    五 安装集群脚本redis-trib

    1.点击下载redis-trib.rb,打开该链接把里面的脚本保存为redis-trib.rb,建议保存到一个Redis的目录下(不用每个都放),例如放到6379目录下。

    redis-trib.rb集群的命令为  redis-trib.rb create --replicas 1 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384 127.0.0.1:6385 127.0.0.1:6386 127.0.0.1:6387 127.0.0.1:6388 127.0.0.1:6389 127.0.0.1:6390

    注意:--replicas 1 表示每个主数据库拥有从数据库个数为1。master节点不能少于3个,这里我使用了6个主节点,6个从节点

    2.启动之后,可以看到主从库地址,点击yes,下次就不需要重新执行这个命令了,直接启动每个redis 即可。

    18b5f1da91d591dd8a5bda434bdcd595.png

    六、连接集群测试

    下载redis客户端连接即可

    2ff957ae0de6547af36c4da6bf0195f0.png

    ps:如需了解工作原理可以看下这个挺好的:转载:https://www.cnblogs.com/mengchunchen/p/10059436.html

    注意:

    1.如果有任何不懂的地方可以关注公众号就可以加我微信,随时欢迎互相帮助。

    2.技术交流群QQ:422167709。

    3.如果希望学习更多,希望微信扫码,长按扫码,帮忙关注一下,举手之劳,当您无助的时候真的能帮你。非常感谢您关注公众号 "编程小乐"。

    展开全文
  • 双机、集群软件选择的基本方法
  • 1. 集群服务器分别安装操作系统、补丁、杀毒软件,此时不用连接共享磁盘阵列。 2. 分别为集群服务器设置机器名。由于集群创建后更改机器名很麻烦,所以必须提前规划好集群服务器的真实机器名及虚拟机器名。 3. 建议...
  • 正特科技推出的具有先进体系结构的Linux服务器集群LVS系统解决方案,具有极高的可用性、可伸缩性、可控性(如流量带宽的控制)、可管理性、稳定性、兼容性、以及优良的性价比;此外,对高流量访问时出现的堵塞现象提供...
  • 我用nginx实现网站负载均衡测试的例子,windows下IIS做负载实测.   如果你的网站访问量(pv)越来越高,一台服务器已经没有办法承受流量压力,那就增多几台WEB服务器来做负载吧。 做网站负载可以买硬件设备来实现,...
  • --基于windows server 2019操作系统,进行故障转移群集 (MSCS)安装 --每个操作步骤均详细进行图文讲解。 --本文档共107页 我们可以将多台服务器组成一个 故障转移群集 (failover clustercluster),这 些服务器...
  • Windows 集群

    千次阅读 2015-07-08 14:34:36
    仔细看过以前网友发表的一些文章,林林总总,分门别类,但总觉得对windows集群没有做一个详细介绍,所在这里我想对Windows集群做一个详细明了的概述。 目前应用最为广泛的集群计算技术可以分为三大类:高可用性集群...

    仔细看过以前网友发表的一些文章,林林总总,分门别类,但总觉得对windows集群没有做一个详细介绍,所在这里我想对Windows集群做一个详细明了的概述。

    目前应用最为广泛的集群计算技术可以分为三大类:高可用性集群技术、高性能计算集群技术和高可扩展性集群技术。
    1、高可用性集群技术
    高可用性集群,英文原文为High Availability Cluster, 简称HA Cluster,是指以减少服务中断(宕机)时间为目的的服务器集群技术。
        随着全球经济的增长,世界各地各种各样的组织对IT系统的依赖都在不断增加,电子贸易使得商务一周七天24小时不间断的进行成为了可能。新的强大的应用程序使得商业和社会机构对日常操作的计算机化要求达到了空前的程度,趋势非常明显,我们无时无刻不依赖于稳定的计算机系统。
         这种需求极速的增长,使得对系统可用性的要求变得非常重要,许多公司和组织的业务在很大程度上都依赖于计算机系统,任何的宕机都会造成严重的损失,关键IT系统的故障可能很快造成整个商业运作的瘫痪,每一分钟的宕机都意味着收入、生产和利润的损失,甚至于市场地位的削弱。
    为了提高整个系统的可用性,除了提高计算机各个部件的可靠性以外,一般情况下都会采用集群的方案。
    所谓集群,就是共同为客户机提供网络资源的一组计算机系统。而其中的每一台提供服务的计算机,我们称之为节点。当一个节点不可用或者不能处理客户的请求时,该请求将会转到另外的可用节点来处理,而这些对于客户端来说,它根本不必关心这些要使用的资源的具体位置,集群系统会自动完成。
    集群中节点可以以不同的方式来运行,这要看它们是如何设置的。在一个理想的两个节点的集群中,两个服务器都同时处于活动状态,也就是在两个节点上同时运行应用程序,当一个节点出现故障时,运行在出故障的节点上的应用程序就会转移到另外的没有出现故障的服务器上,这样一来,由于两个节点的工作现在由一个服务器来承担,自然会影响服务器的性能。
    针对这种情况的解决方案是,在正常操作时,另一个节点处于备用状态,只有当活动的节点出现故障时该备用节点才会接管工作,但这并不是一个很经济的方案,因为你不得不买两个服务器来做一个服务器的工作。虽然当出现故障时不会对性能产生任何影响,但是在正常运行时的性能价格比并不太好。 
    从上面的工作方式出发,我们可以把集群分为下面几种(特别是两节点的集群)
      主/主 (Active/active)
      这是最常用的集群模型,它提供了高可用性,并且在只有一个节点在线时提供可以接受的性能,该模型允许最大程度的利用硬件资源。每个节点都通过网络对客户机提供资源,每个节点的容量被定义好,使得性能达到最优,并且每个节点都可以在故障转移时临时接管另一个节点的工作。所有的服务在故障转移后仍保持可用,但是性能通常都会下降。
    主/从(Active/passive)

      为了提供最大的可用性,以及对性能最小的影响,Active/passive模型需要一个在正常工作时处于备用状态,主节点处理客户机的请求,而备用节点处于空闲状态,当主节点出现故障时,备用节点会接管主节点的工作,继续为客户机提供服务,并且不会有任何性能上影响。
    混合型(Hybrid)
      混合是上面两种模型的结合,只针对关键应用进行故障转移,这样可以对这些应用实现可用性的同时让非关键的应用在正常运作时也可以在服务器上运行。当出现故障时,出现故障的服务器上的不太关键的应用就不可用了,但是那些关键应用会转移到另一个可用的节点上,从而达到性能和容错两方面的平衡。 

    为什么要做高可用集群?
    双机热备针对的是服务器的故障。 
     服务器的故障可能由各种原因引起,如设备故障、操作系统故障、软件系统故障等等。一般地讲,在技术人员在现场的情况下,恢复服务器正常可能需要10分钟、几小时甚至几天。从实际经验上看,除非是简单地重启服务器(可能隐患仍然存在),否则往往需要几个小时以上。而如果技术人员不在现场,则恢复服务的时间就更长了。

     而对于一些重要系统而言,用户是很难忍受这样长时间的服务中断的。因此,就需要通过双机热备,来避免长时间的服务中断,保证系统长期、可靠的服务。

     决定是否使用双机热备,正确的方法是要分析一下系统的重要性以及对服务中断的容忍程度,以此决定是否使用双机热备。即,你的用户能容忍多长时间恢复服务,如果服务不能恢复会造成多大的影响。

     在考虑双机热备时,需要注意,一般意义上的双机热备都会有一个切换过程,这个切换过程可能是一分钟左右。在切换过程中,服务是有可能短时间中断的。但是,当切换完成后,服务将正常恢复。因此,双机热备不是无缝、不中断的,但它能够保证在出现系统故障时,能够很快恢复正常的服务,业务不致受到影响。而如果没有双机热备,则一旦出现服务器故障,可能会出现几个小时的服务中断,对业务的影响就可能会很严重。

     另有一点需要强调,即服务器的故障与交换机、存储设备的故障不同,其概念要高得多。原因在于服务器是比交换机、存储设备复杂得多的设备,同时也是既包括硬件、也包括操作系统、应用软件系统的复杂系统。不仅设备故障可能引起服务中断,而且软件方面的问题也可能导致服务器不能正常工作。

     还应指出的是,一些其他的防护措施如磁盘阵列(RAID)、数据备份虽然是非常重要的,但却不能代替双机热备的作用。

    目前高可用集群实现的方式有哪几种?

    A\硬件方式:2台服务器+一台磁盘阵列柜(外挂、有raid控制器,支持集群)
    优点:    性价比高
        占用系统资源较低,阵列柜本身不占系统资源
        支持大容量数据,支持在线扩容
        保护用户投资
    缺点:投资比例较大
                 非全冗余架构,容易产生单点故障
                 施工比较复杂,需要专业人士
    B、软件方式:2台服务器
    优点:没有单点故障
    投资比例较硬件方式少
    数据安全,通常数据分2份保存
    有的软件具有灾备功能,即使2份数据同时丢失,也能迅速恢复。
    施工比较简单,按照相关软件操作手册做就可以
    缺点:占用系统资源,数据量越大,速度越慢,大型数据库的应用,庞大的数据写入,不建议用。
    通常每天数据写入在500MB内.
    投资不明显,硬件很容易看的见


    如果用户需要做高可用集群,做为工程师需要做的准备工作?

     A、预算 B、自己的能力 C、方案推荐

    以上2种高可用集群方法,任意推荐一种或者由用户自己选择

    方案A需要的预算:2服务器+1阵列(硬盘、阵列卡、scsi线)+2windows2003企业版+1sql2005企业版+方案实现技术能力
    或者:2服务器+1阵列(硬盘、阵列卡、scsi线)+2windows2003标准版+1sql2005标准版+专业第三方集群软件

    方案B需要的预算:2服务器+2windows2003标准版+1sql2005标准版+专业第三方集群软件



    2、高性能计算集群技术高性能计算集群,英文原文为High Performance Computing Cluster, 简称HPC Cluster,是指以提高科学计算能力为目的计算机集群技术。 HPC Cluster是一种并行计算(Parallel Processing)集群的实现方法。并行计算是指将一个应用程序分割成多块可以并行执行的部分并指定到多个处理器上执行的方法。目前的很多计算机系统可以支持SMP(对称多处理器)架构并通过进程调度机制进行并行处理,但是SMP技术的可扩展性是十分有限的,比如在目前的Intel架构上最多只可以扩展到8颗CPU。为了满足哪些"计算能力饥渴"的科学计算任务,并行计算集群的方法被引入到计算机界。著名的"深蓝"计算机就是并行计算集群的一种实现。
         由于在某些廉价而通用的计算平台(如Intel+Linux)上运行并行计算集群可以提供极佳的性能价格比,所以近年来这种解决方案越来越受到用户的青睐。比如壳牌石油(Shell)所使用的由IBM xSeries服务器组成的1024节点的Linux HPC Cluster是目前世界上计算能力最强的计算机之一。
      HPC Cluster向用户提供一个单一计算机的界面。前置计算机负责与用户交互,并在接受用户提交的计算任务后通过调度器(Scheduler)程序将任务分配给各个计算节点执行;运行结束后通过前置计算机将结果返回给用户。程序运行过程中的进程间通信(IPC)通过专用网络进行。
           HPC Cluster中使用的服务器通常可以分为用户节点、管理节点、存贮节点和计算节点四种。它们的角色分别是:
        用户节点:
      提供用户界面的计算机。它从用户那里接受任务,运行调度器(在本地或独立的"控制节点"上)将任务分派到其它计算机,并将运算结果返回给用户。
        管理节点:
      提供管理功能的计算机。它应该能够使管理员从这一计算机对集群中的任意一台计算机进行监视和操作,并处理集群中所有计算机的日志和报警信息。
         存贮节点:
      提供存贮共享的计算机。为了使任务可以并行执行,每台执行任务的计算机必须能够访问同样的数据。存贮节点通过网络共享(NFS)或其它方式来确保数据访问的同步。
         计算节点:
      真正执行计算任务的计算机。集群中的大部分计算机都是这种类型。 一个HPC Cluster中通常同时使用三个网络,它们分别是IPC网络,管理网络和存贮访问网络。根据具体的使用需求和选择的节点特性,这些网络可以使用多种介质和协议。
        IPC网络:
      用于并行任务执行时的进程间通信的专用网络,通常要求延迟小,带宽大。
        管理网络:
    用来收集集群信息、监视集群计算机和执行维护任务的网络。
       存贮访问网络:
      用来访问公用存贮的专用网络。 
      在实现一个HPC Cluster时,通常需要考虑以下问题:
              应用程序是计算能力饥渴型(CPU+内存)还是IO(磁盘/网络)饥渴型?
    --HPC Cluster只适合解决计算能力饥渴型的问题
              应用程序是否可以"并行化"?
    --HPC Cluster对于可以并行化的应用程序最为有效
              怎样才能提高"计算密度"?
    --所谓的"计算密度"是指在单位空间中所能提供的计算能力(所能摆放的计算机台数)。没有很好的计划和组织,一台1000+节点的超级计算机就可能成为一场超级麻烦。更高的计算密度不仅意味着更小的体积,也以为着更加简便的管理和更少的投资。1U的机架式服务器应当是首选。然后应该考虑的是:哪种服务器需要更少的电缆?哪种计算机用作计算节点可以省去额外的控制部件(如连接键盘、鼠标的控制台切换器)?哪种计算节点可以提供更高的计算效能?
              如何安装和管理所有的计算机?
    --计算机的可管理性在HPC Cluster的实现中至关重要。在同时面对数十甚至成百上千的计算机的情况下,管理员能否简单快速地执行维护工作常常成为影响集群 发挥效用的关键因素。
    在集群计算的需求确定之后,选择各种组件构成Cluster的实现方案常常十分困难,而且经常由于组件之间难以协同工作而导致Cluster的实现失败,或者最终构造了一个难以使用又难以管理的Cluster。针对这种情况,应该优先考虑选择一体化的HPC产品。这些产品通常会在厂商的工厂中进行组装和测试,然后按机架的方式交付客户使用。比如在目前的IBM所提供的1300 HPC Cluster,它基于Intel架构的硬件平台和Linux操作系统,使用与"深蓝"计算机上同样的集群计算技术,在计算密度、集群管理等方面都比较出色。

    目前在高性能计算集群领域我国只有银行系统,做战系统、科研系统、气象等领域有少许的应用,在此我们不做深入探讨。


    3、高可扩展性集群技术
      高可扩展性集群技术就是带均衡策略(算法)的服务器群集。负载均衡群集在多节点之间按照一定的策略(算法)分发网络或计算处理负载。负载均衡建立在现有网络结构之上,它提供了一种廉价有效的方法来扩展服务器带宽,增加吞吐量,提高数据处理能力,同时又可以避免单点故障。
        一般的框架结构如下图(以Web访问为例,其它应用类似)。后台的多个Web服务器上面有相同的Web内容,Internet客户端的访问请求首先进入一台服务器,由它根据负载均衡策略(算法)合理地分配给某个Web服务器。每个Web服务器有相同的内容做起来不难,所以选择负载均衡策略(算法)是个关键问题。下面会专门介绍均衡算法。


     
      负载均衡的作用就像轮流值日制度,把任务分给大家来完成,以免让一个人过度劳累。但是与轮流值日制度不同的是,负载均衡是一种动态均衡,它通过一些工具实时地分析数据包,掌握网络中的数据流量状况,把任务理分配出去。对于不同的应用环境(如电子商务网站,它的计 算负荷大;再如网络数据库应用,读写频繁,服务器的存储子系统系统面临很大压力;再如视频服务应用,数据传输量大,网络接口负担重压。),使用的均衡策略(算法)是不同的。 所以均衡策略(算法)也就有了多种多样的形式,广义上的负载均衡既可以设置专门的网关、负载均衡器,也可以通过一些专用软件与协议来实现。在OSI七层协议模型中的第二(数据链路层)、第三(网络层)、第四(传输层)、第七层(应用层)都有相应的负载均衡策略(算法),在数据链路层上实现负载均衡的原理是根据数据包的目的MAC地址选择不同的路径;在网络层上可利用基于IP地址的分配方式将数据流疏通到多个节点;而传输层和应用层的交换(Switch),本身便是一种基于访问流量的控制方式,能够实现负载均衡。 
      到目前为止,针对网络负载均衡的产品主要有两大类:一是硬件;二是软件。硬件产品比软件产品运行得快但是价格较高。著名的产品有:3Com的智能网卡和DynamicAccess技术结合起来,不用在交换机上做任何设置,就可以完成分担任务;Cisco路由器通过对动态环路、旁路技术等功能的提供实践着负载均衡;Win2000中,专门集成了针对服务器群集的负载均衡软件;IBM的Web专用服务器和Network Dispatcher软件;Lotus的ICM;还有许多厂商都支持的链路聚集、高层交换......实现方法还在不断地花样翻新,充实着"负载均衡"的内容。
      目前,基于均衡算法主要有三种:轮循(Round-Robin)、最小连接数(Least Connections First),和快速响应优先(Faster Response Precedence)。轮循算法,就是将来自网络的请求依次分配给集群中的服务器进行处理。最小连接数算法,就是为集群中的每台服务器设置一个记数器,记录每个服务器当前的连接数,负载均衡系统总是选择当前连接数最少的服务器分配任务。 这要比"轮循算法"好很多,因为在有些场合中,简单的轮循不能判断哪个服务器的负载更低,也许新的工作又被分配给了一个已经很忙的服务器了。快速响应优先算法,是根据群集中的服务器状态(CPU、内存等主要处理部分)来分配任务。 这一点很难做到,事实上到目前为止,采用这个算法的负载均衡系统还很少。尤其对于硬件负载均衡设备来说,只能在TCP/IP协议方面做工作,几乎不可能深入到服务器的处理系统中进行监测。但是它是未来发展的方向。 
    采用负载均衡群集的场合很多,本文将以Web/Ftp服务器群集这个典型的应用为例进行介绍。 互联网的出现使信息访问产生了质的飞跃,但随之而来的是Web流量的激增(高并发访问),由于涉及的信息量十分庞大,用户访问的频率也高,许多基于Web的大型公共信息系统(如电子图书馆、BBS、搜索引擎和远程教育等)需要在实时性和吞吐量方面都具有较高性能的Web服务器支持。一些热门的Web站点由于负荷过重而变得反应迟缓。如何提高Web服务器的性能和效率成为一个亟待解决的问题。
      实际上,服务器的处理能力和I/O已经成为提供Web服务的瓶颈。如果客户的增多导致通信量超出了服务器能承受的范围,那么其结果必然是服务质量下降。显然,单台服务器有限的性能不可能解决这个问题,一台普通服务器的处理能力只能达到每秒几万个到几十万个请求,无法在一秒钟内处理上百万个甚至更多的请求。显然,采用高性能的主机系统(小型机乃至大型计算机)是可行的。但是,除了其价格价格昂贵外,这种高速、高性能的主机系统,很多情况下也不能解决同时处理几万个并发。因为,高速主机系统只是对于复杂单一任务和有限的并发处理显得 高性能,而Internet中的Web服务器绝大多数处理是"简单任务"、高强度并发处理,因此,即便有大资金投入采用高性能、高价格的主机系统 ,也不能满足Web应用的需要。这就是利用Web服务器群集实现负载均衡的最初基本设计思想。
      Web服务器群集的概念最早由伊利诺斯州大学(UIUC:University of Illinois at Urbana-Champaign)的超级计算应用中心(NCSA:National Center of Supercomputing Applications)提出并实现了一个原型系统"NCSA Scalable Web Server Cluster", 它通过连接一组计算机对客户同时提供服务,实现分布负载,降低对用户请求的响应时间,并扩展Web服务器的应用。后来Berkeley的NOW小组、NSC和科罗拉多大学的Harvest小组、Cisco及IBM公司等也加入此行列,很快推出相应产品。如NCSA使用几台工作站构成可扩展并行Web服务器群,提供使用其浏览器软件Mosaic、服务器软件httpd的用户查询帮助信息和下载软件的服务器系统,采用轮循算法选择群集中某台计算机为当前访问请求服务;加州大学SWEB系统采用DNS转发技术实现服务器IP地址重定向(Yahoo 采用的就是这种方法);Inktomi公司利用NOW构造并行的HotBot检索引擎,因而系统具有成本低和扩展能力强的特点;此外,IBM公司也提出类似的可扩展并行Web服务器群集系统的设计方案。这些系统的成功表明Web 服务器群集是改善Web服务的一种有效解决方案,并且正在成为主流技术。
      在Web负载均衡群集的设计中,网络拓扑被设计为对称结构。在对称结构中每台服务器都具备等价的地位,都可以单独对外提供服务。通过负载算法,分配设备将外部发送来的请求均匀分配到对称结构中的每台服务器上,接收到连接请求的服务器都独立回应客户的请求。 
      1.        高性能 :一个Web服务器群集系统由多台Web服务器组成,对外部而言,整个群集就如同一台高性能Web服务器,系统只有一个对外的网络地址(主机名或IP地址),所有的HTTP请求都发到这个地址上。系统中有专门的机制能够将这些请求按照一定原则分发到群集中的各台服务器上,让它们各自分担一部分工作。 
      2.        可扩展性 它是采用同样的方法或技术高效率地支持较大规模系统的能力。Web服务器群集系统的组成结构和工作原理决定了它能够比较容易地达到较好的可扩展性,因为扩大系统规模非常容易,只要在网络中增加新的Web服务器计算机即可。 
      3.        高可用性 Web服务器群集系统将会在各种商业应用领域中占有举足轻重的地位。商用系统最重视系统的可靠性和容错性,二者合在一起称为系统的可用性。常用的系统可用性指标有系统平均无故障时间、期望不间断工作时间及年平均故障率等。由于Web服务器群集系统中各台Web服务器之间相对独立,采用一些不太复杂的技术就能使Web服务器群集系统达到很高的可用性。一些商用产品中已经部分实现了这种技术。 
     
    对于Web服务器来讲,如果访问压力过大,多个HTTP请求都发到这个地址上,如sohu,yahoo,msn等,系统中有专门的机制能够将这些请求按照一定原则分发到群集中的各台服务器上,让它们各自分担一部分工作。,这样问题就解决了。
    但只能相对于web做高可扩展集群,如果是数据库服务器就无能为力了,目前大型的网站多个web之间的数据回有专业的软件来实现,完全不用担心。而数据库就很难,数据库的负载均衡就各家产品看,还是嚷嚷的多,真正做成可靠产品的少。

    目前web均衡产品基本都是硬件,分嵌入式负载均衡产品,如知名的f5;另一类是服务器加软件组成的,这一类产品比较多,选择也比较难,掌握好大方向即可,即负载均衡服务器有没有质量保障,有没有冗余功能,千万不能因为负载均衡服务器性能而成为系统瓶颈。
    展开全文
  • windows server 集群的使用-负载均衡

    万次阅读 2018-05-07 00:38:09
    最近研究一下微软服务器自带的集群,load balance功能。参开文章:https://www.cnblogs.com/atree/p/windows_loadbalancer.html实现过程,在负载均衡的服务器中,安装本人在virtual box虚拟机中做的此时,首先需要两...
  • 惠普集群系统结合了惠普服务器产品的安全...测试了基于Windows NT平台上的多种集群软件。特别是与微软公司合作,提供了运行MSCS的全系列硬件平台。惠普集群系统是惠普提供的全套解决方案,并由惠普提供技术保障。 
  • windows下配置hadoop集群

    千次阅读 2021-03-15 15:21:29
    所采用的设备和软件版本是: Win10专业版64位; Hadoop版本2.10.1; JDK版本1.8; 安装JDK JDK安装,环境变量的配置, 此时,JDK就已经安装好了(实际上在去年十一月份的时候,我就已经安装好了,搭配eclipse使用,...
  • spark集群windows下搭建

    千次阅读 2019-11-15 14:35:24
    我用三台windows电脑,主机名 和 ip对应如下: (右键我的计算机 属性 修改计算机名分别为:win-master,win-salver1,win-salver2) win-master 192.168.0.1 win-salve1 192.168.0.2 win-salve2 192.168.0.3 每台电脑...
  • 手把手教你配置Windows2003集群 集群是在一组计算机上运行相同的软件并虚拟成一台主机系统为客户端与应用...计算机通过缆线物理连接并通过集群软件实现程序上的连接,可以使计算机实现单机无法实现的容错和负载均衡。
  • 搭建集群首先是下载软件,因为公司这边的服务器是Win2003的,所以也节俭了一些操作: Apache下载地址:http://httpd.apache.org/ 我下载的是Apache httpd 2.2.27 Released Tomcat 下载地址:...
  • 集群管理软件介绍

    千次阅读 2018-07-05 17:05:59
    From https://blog.csdn.net/swingwang/article/details/77971905集群就是通过软件将一组服务器作为一个整体向客户提供资源。这些单个的服务器就是集群的节点。当对外提供资源的节点故障后,集群中其余的节点能够将...
  • Redis 介绍、安装部署环境、必备软件、详细安装步骤、注意事项。
  • Redis集群搭建所需要的所有工具及Windows系统下连接Redis数据库的客户端软件,内附Redis集群搭建教程
  • ELK Stack 是Elasticsearch、Logstash、Kiban三个开源软件的组合。在实时数据检索和分析场合,三者通常是配合共用,而且又都先后归于 Elastic.co 公司名下,故有此简称。 ELK Stack成为机器数据分析,或者说实时日志...
  • --本文档共71页,对基于windows server2019集群服务下Sql Server 2019安装进行详细说明,对每个步骤均进行详细图文讲解。 微软群集MSCS群集服务器是一组独立的服务器,运行群集服务,并像单个系统一样运作。通过将...
  • 操作系统: Microsoft Windows Server 2012 R2Grid组件:Oracle 11gR2 Grid数据库:win64_Oracle 11gR2 Database硬件配置:每台主机两块网卡裸盘:三块(本次安装中因为没有磁盘阵列柜,这里采用虚拟共享磁盘,具体...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 62,175
精华内容 24,870
热门标签
关键字:

windows集群软件