精华内容
下载资源
问答
  • 今天分享一篇从0到1搭建Spark集群的步骤,企业中大家亦可以参照次集群搭建自己的Spark集群。 一。下载Spark安装包 可以从官网下载,本集群选择的版本是spark-1.6.0-bin-hadoop2.6 在官网中找到对应的链接即可...

    今天分享一篇从0到1搭建Spark集群的步骤,企业中大家亦可以参照次集群搭建自己的Spark集群。

    一。下载Spark安装包

    可以从官网下载,本集群选择的版本是spark-1.6.0-bin-hadoop2.6

    在官网中找到对应的链接即可http://spark.apache.org/downloads.html

    或者用本人云盘下载地址 附上链接如下链接:https://pan.baidu.com/s/1o7Vrkue 密码:sc2z

    二。部署和规划Spark集群

    提前准备好四台虚拟主机,三台主机 node1 node2 node4 做Spark集群  develop做Spark客户端用于提交程序

    集群规划如下:

    node1 Master节点 node2,node4 Worker节点 架构图如下:

     在此之前需要配置Master节点到Worker的免密登陆因为在Master节点需要启动所有的Worker节点,所有需要配置Master到Worker的免密登陆 只需要这一个免密配置即可 不需要配置woker--worker  worker-master节点的免密  因为主要是在Master节点上启动集群

       免密设置具体参考如下:http://blog.csdn.net/leexide/article/details/17252369

    1.分别在三台集群下创建同名目录 (目录一定要一致,方便集群部署)

    本集群环境创建为/root/spark目录

    2.使用Xshell将文件上传至其中某个节点即可(没有必要上传全部节点,因为后期还要重新配置)

    上传至某个节点之后,假设上传到主节点Master节点后

     3.解压目录,命令和结构如下

     tar -zxf   spark-1.6.0-bin-hadoop2.6.tar

    然后重命名 方便后期部署

    mv  spark-1.6.0-bin-hadoop2.6  spark-1.6.0

    结构如下:

    4.配置参数

    进入到配置目录,路径为

    /root/spark/spark-1.6.0/conf

    后可看见文件如下

    我们需要把template关键字去掉 因为是个模板文件 简单介绍下文件作用:

    slaves文件---worker几点所在目录

    spark-default.conf目录文件 默认配置文件

    spark-env.sh环境配置文件

    这几个是我们主要用的

    更改后的目录文件格式如下:

    配置spark-env.sh

    可以看到集群配置参数如下,我们主要配置这些参数

    配置完后的截图如下:

     

     解释一下参数意义:

    SPARK_MASTER_IP=node1  #主节点主机名

    SPARK_MASTER_PORT=7077 #主节点和Worker的通信端口

    SPARK_WORKER_CORES=2 # 每个worker进程能管理两个核

    SPARK_WORKER_MEMORY=2g # 每个worker进程能管理2g内存

    SPARK_MASTER_WEBUI_PORT=8888 # 主节点WEB-UI展示图  默认端口是8080

    SPARK_WORKER_INSTANCES=1 #每个worker节点能够启动的worker进程 默认是一个 如果为2  则每一个worker几点能够启动2个Worker进程 就这意思

    根据这配置 则 Master节点能够管路4core 4g内存(有两个Worker进程 每一个worker进程管理两个核,2g内存)

     配置slaves文件:配置从节点的ip 或主机名

    截图如下

    5.将主节点的配置分发到从节点 同名目录下

    命令如下:

    回到spark的主目录配置文件

     

    然后分发到node2  node4节点 这里命令如下`pwd`即到当前目录

    6、启动Spark集群:
        执行安装包sbin目录下的start-all.sh脚本
        ./sbin/start-all.sh

     7.查看集群状态

    jps命令为jvm的命令与局之一 专门查看java进程

    Master节点状态:

    Worker节点状态:

     

    查看WEBUI是否能访问:

    注意关闭Linux的防火墙:具体操作如下

    /etc/init.d/iptables status

    会得到一系列信息,说明防火墙开着。

    /etc/init.d/iptables stop

    永久关闭:

    chkconfig --level 35 iptables off

    在本机访问node1:8888(别忘配置host)

     

     至此,集群搭建成功!

    8.测试集群是否可用

     将主节点中的spark文件同步到客户端develop节点

    在develop节点中提交spark任务 ,由于本例测试 所以直接提交spark自带测试用例 计算Pi的值

    注意别忘配置Client(develop)客户端的host 因为要提交任务到Master节点(node1)节点上去运行

    即可看见运行状态

    在WebUI也可以看见

     

     到此集群测试完毕!!!

     

    持续更新中。。。。,欢迎大家关注我的公众号LHWorld.

     

    展开全文
  • 建立了累积性创新的博弈模型,推导、分析了技术外溢、劳动力流动、商业秘密保护和创新型企业形成集群的理论关系。分析结果表明只要第二代创新的...而商业秘密保护能防止更高技术外溢的发生,但不能阻止企业集群的形成。
  • 石化企业集群系统解决方案 石油石化产业是我国国民经济和社会发展的基础性和战略性产业,其发展壮大受到党和国家的高度重视。信息技术与通信工程建设在石油石化行业的发展中起着非常重要的作用。《国家关于加强...

    •市场挑战

    石化企业集群系统解决方案

    石油石化产业是我国国民经济和社会发展的基础性和战略性产业,其发展壮大受到党和国家的高度重视。信息技术与通信工程建设在石油石化行业的发展中起着非常重要的作用。《国家关于加强“信息化与工业化”融合的指导意见》的实施,对石油石化系统具有重要意义。通过加快信息化和通信工程建设,全面提高我国石油石化产业的核心竞争力。

    目前石油石化行业的通信工具还比较落后。有些只是简单的对讲机。没有完整的通信系统,就无法解决以下问题:

    (1) 中控室信号屏蔽严重,室外操作人员无法与控制中心保持畅通的通信。

    (2) 组织负责人呼叫各班,各车间员工必须转动对讲机的频道按钮,非常不方便。

    (3) 信道不忙不忙,各组信道不能共享,呼叫效率低。

    (4) 在紧急情况下,不能及时通知大家,缺乏统一指挥调度的能力。

    (5) 原来的系统经常受到其他同频电台的干扰。不仅来自系统内部,也来自系统外部。

    (6) 没有有线接入功能,运营商无法拨打办公室领导电话,也无法报告重要情况。

    •解决方案

    石化企业集群系统解决方案

    为解决石油石化行业的通信需求,提高操作人员的工作效率,达到全厂作业队一站式响应、应急统一指挥、多级调度的目的,建立了一套简单易用、功能强大的,性价比高的无线通信系统尤为重要。

    北峰充分运用多项自主知识产权专利技术,构建了一套功能完善、便捷可靠、扩展性强、安全性高的综合通信系统。不管业务支撑的底层系统是宽带或是窄带,只需要在一个统一的架构下执行调度命令,就可以让您从容应对,掌控全局。

    BF-9300(BTX)创建型标准数字集群系统主要组成单元有核心网(MSC)、网管子系统(OMC)及调度子系统(MDS)、基站子系统(BTS)、终端等子系统组成。还可根据项目需求,选配鉴权加密子系统、融合通信网关、小区域补盲设备等。

    •系统组成介绍

    核心网系统主要用于基站间信令和业务交换,也可用于与外部网关设备如公网网关、PSTN、MPT间业务交换。设备支持本地热备份及异地容灾备份。

    网管子系统提供对系统内各设备监控、配置和管理,通过网管服务器实现对整个网络的配置、管理和操作维护,主要由网管服务器(NMS)和网管终端(NMC)组成。

    调度子系统MDS支持全IP互联组网,服务器安装于核心机房。MDS支持同时接入多个调度终端,支持分级组网和分级调度,每个调度终端可设置不同的管理权限,管理不同的MS或基站覆盖区域。

    北峰融合通信网关基于先进的IP软交换通信技术和数字信号处理技术,可以将不同频段的无线电台、模拟集群、数字集群、固定电话、手机、SIP电话、视频监控等各类不同类型的通信设备组成的一个统一的通信平台,可以实现不同终端之间快速组网,完成语音和视频信息的多媒体交换,实现互联互通,是一个完整的基于IP的多媒体调度解决方案。

    BF-TR930 集群基站作用完成空口功能,为一个特定的地理区域提供无线覆盖和呼叫服务,主要功能包括接纳控制、资源调度和分配、呼叫链接建立和维护,以及基本语音、数据业务和各种调度业务处理。

    BF-TM950是依据PDT/DMR集群标准精心打造的全新一代数字集群车载台。性能稳定可靠的数字集群车载对讲机,拥有极强的平台扩展性,可轻松开发多种数据应用,配合数字集群系统。强大的语音、数字应用功能,内置蓝牙、全双工通话、北斗/GPS定位、智能音频、分体安装等功能从而突出使用需求的最优构想。

    BF-TD950是按照PDT/DMR标准精心打造的一款集群对讲机。融合了强大的数字体验和全新的功能应用,囊括了IPS高清屏、卫星定位、蓝牙传输、全双工通话等先进的技术。更多的特性使TD950有着灵活丰富的应用方式,使指挥调度更加安全、高效、便捷。

    展开全文
  • 10.1 建立一个Linux企业集群的步骤 ...要建立一个Linux企业集群,你需要做以下一些事情,每一件事情都是本章的描述要点: 确定你要使用哪个NAS服务器 理解内核Netfilter和内核数据包路由的基本原

    集群不只是一个高可用服务器对,因为集群中的所有节点可以共享进程负载,当一个节点关闭后,所有登陆到该节点的用户不会受到影响,他们可以再次登陆连接到一个正在运转的集群节点上。


    10.1 建立一个Linux企业集群的步骤

    要建立一个Linux企业集群,你需要做以下一些事情,每一件事情都是本章的描述要点:

    确定你要使用哪个NAS服务器

    理解内核Netfilter和内核数据包路由的基本原理

    学习如何克隆一台Linux机器

    确定你的集群命名方案

    学习如何将统配置改变应用到所有集群节点

    使用一个独立的物理网络建立一个Linux虚拟服务器网络地址转换(LVS-NAT)集群

    建立一个LVS直接路由(LVS-DR)集群

    安装软件自动移除失效的集群节点

    安装软件监视集群

    学习如何监视集群节点的性能

    学习如何在集群节点和服务器上使用自动化工具更新软件包

    确定你要使用哪个统一用户账号认证方法

    安装一个支持集群的打印系统

    安装一个高可用批处理作业系统

    购买集群节点

    NAS服务器

    如果你的集群将运行传统的依赖于正常的Unix封闭仲裁方法(将在第16章中详细讨论)的关键应用程序,网络附加存储(NAS)服务器将是你集群中最大的性能瓶颈,因为所有文件系统I/O操作将通过NAS服务器进行。

    你可以使用本书描述的技术[1]在便宜的硬件上建立你自己的高可用NAS服务器,但是企业级集群应该建立在顶级的NAS设备上,在写操作提交到磁盘之前,即使NAS系统崩溃或电源失效也能够保证提交写操作到永久性RAM(NVRAM)缓存中,并能够保证缓存的完整性。

    注意:出于测试目的,你可以使用一个Linux服务器作为NAS服务器,(参考第16章了解关于异步网络文件系统(NFS)操作和为什么你可以在测试环境而不是生产环境仅使用异步NFS的讨论)

    内核Netfilter和内核数据包路由

    在你建立集群负载调度器之前,需要理解如何改变通过Linux内核传递的数据包的命运,改变通过内核数据包的命运的能力允许你建立一个集群负载调度器,由它分配到跨所有集群节点的入站请求,命令行的工具有iptables、route和ip实用程序,在使用它们建立企业级集群之前,你应该先熟悉这些工具的用法。(参考第2章获取关于这些工具的更多的信息)

    克隆一台Linux机器

    第4、5章描述了一个使用软件SystemImager克隆Linux机器的方法,它不真实地建立集群节点。

    集群命名方案

    要使克隆过程自动化,每个节点应该以一个常用字符串跟一个连续的集群节点号开始,例如:第一个集群节点主机名应该是clonode1,第二个应该是clnode2,以此类推。

    将系统配置改动应用到所有节点

    集群管理员需要知道如何自动地应用系统配置改动到所有集群节点,可以使用SystemImager软件包中的updateclient命令来完成,在集群进入正式生产前,在黄金客户端上使用updateclient命令实际应用一次改动到所有集群节点上。(参考第5章获取更多信息)

    建立一个LVS-NAT集群

    建立一个Linux虚拟服务器网络地址转换(LVS-NAT)集群将有助于你理解Linux虚拟服务器(LVS)软件是如何工作的,并可以帮助你确保负载调度器为入站连接请求分配集群内的节点。(参考第11章中关于负载均衡的介绍和第12章中关于LVS-NAT的介绍)

    建立一个LVS-DR集群

    只要你知道如何建立LVS-NAT集群,你就可以将其转换为Linux虚拟服务器直接路由(LVS-DR)集群,将在第13章中详细描述,在关键应用上,基于LVS-DR的企业级集群比LVS-NAT集群更优秀,有以下几个原因:

    LVS-DR集群更容易管理,可以在集群网络之外通过telnet或ssh连接到集群节点上管理LVS-DR集群节点,在LVS-NAT集群中,物理网线或VLAN配置阻止你直接连接到集群节点。

    LVS-DR集群不用通过中间机器(负载调度器)直接从集群节点向客户端计算机发送应答。

    LVS-DR集群负载调度器允许出故障,不会使所有集群节点变得不可用,相比之下,如果主/备LVS-NAT集群负载调度器同时崩溃,整个LVS-NAT集群就无法使用了。在LVS-DR集群中,如果主/备LVS集群负载调度器同时崩溃,集群节点仍然可以作为独立的或分散的服务器使用(参考第13章了解如何建立LVS-DR集群的详细信息),然而,实际上,这是一个管理上的卖点而不是LVS-DR集群的“特色”。

    注意:Linux企业集群应该通过防火墙保护避免受到来自外部的黑客攻击,如果你没有用防火墙保护你的集群节点,或如果你的集群必须连接到因特网上,到集群节点的shell访问应该被完全限制,你可以通过建立一个独立的网络(或VLAN)完全限制到集群节点的shell访问,该网络只用于连接管理机到集群节点,这个完全独立的网络常常叫做管理网络。[2]

    安装软件移除失效的集群节点

    本书中,我们将使用ldirectord软件包(包括在CD-ROM中)自动从集群中移除失效的节点,第15章将讨论如何安装和配置ldirectord。

    作为集群管理员,你可能还想知道如何手动从集群中移除失效节点,而不影响到当前已经登陆到系统的用户,我们将在第19章中看到如何做。

    安装软件监视集群节点

    你不能每天通过每个集群节点的日志文件来进行监视,你需要监视软件在某个集群节点出现故障时发送email消息、电子页面或文本消息给管理员的功能。

    有许多开源的软件可以完成这个任务,第17章描述了一个使用简单网络管理协议(SNMP)和Mon软件包进行监视的方法,SNMP和Mon软件包一起允许你监视集群节点,并在超过了你指定的阀值时发出警告。

    监视集群节点的性能

    除了监视集群节点的问题之外,你可能还想监视每个运行的集群节点是否正确地分担工作负载,Ganglia软件包就是做这件事的非常优秀的工具,第18章将描述如何使用Ganglia以及一些Ganglia从所有集群节点收集的性能量度(如系统平均负载)。

    管理人员和操作人员可以使用Ganglia创建的web页面实时观察集群上的进程负载情况,在将集群放如生产环境的那天起,这个是你查看集群工作的最重要的工具了。

    更新集群节点和服务器上的软件

    在发现软件安全漏洞时你还需要一个自动下载并安装补丁的方法,附录D中描述的自动化工具Yum就是做这个事情的,在生产环境中使用之前,你要学习如何使用Yum或其他自动升级实用程序,确定已经建立了一个能够继续发展并能适应改变的系统。

    你还需要考虑一些细微的问题,如SystemImager updateclient命令可能会覆盖软件包注册信息或存储在集群节点磁盘上的软件包(RPM)清单(要解决这个问题,你可能想将软件安装在一个节点上 -- SystemImager 黄金客户端 -- 然后使用updateclient命令更新剩下的集群节点)。

    统一用户账号管理

    你可能需要某种统一的集群用户账号管理方法,参考第1、19章中关于账号管理方法如NIS、LDAP、Webmin、OPIUM(OSCAR软件包的一部分)或一个拷贝每个集群节点本地的/etc/passwd文件存储到一个中央服务器的cron作业的讨论。(无论你选择哪个方法,你还需要判断这个方法是否能够准确地集中管理组和主机信息)

    安装打印系统

    你将需要安装一套允许你在一个地方控制所有来自集群的打印作业的打印系统,第19章将简要第讨论LPRng软件包在集群环境中基于这个目的的使用。

    安装高可用批处理作业调度系统

    如果你的批处理作业调度系统不是高可用的,即使你建立了一套高可用集群也不会改善系统的可靠性,我们将在第18章中看到如何建立一个无单点故障的批处理作业调度系统。

    购买集群节点

    建立用于支撑科学研究的集群往往包括成千个节点,一般在大型的研究机构的数据中心(参考http://clusters.top500.org/),对于运行在这些集群上的应用程序,没有限制它们能够使用的CPU周期的数量,因为越多的周期可用,就可以完成更多的工作,相反,企业集群有应用程序可以使用的进程周期数量的上限,企业工作负载有峰值消耗期限,相对低系统活动周期过程中进程,在峰值期间可能需要两倍、三倍或更多。然而,某些时候并不是越多的工作进程就意味着完成越多的工作,因为外部因素(如使用集群的用户数量和能力)将决定这个限制。

    因此Linux企业集群要有一个理想的节点数量,是由使用它的组织的需求和构建、维护、支持成本决定的,在这一小节中,我们将看到两个基本的找到最佳节点数量的设计思想:集群性能和单点故障的影响。

    规划容量和集群性能

    应用程序有1/4的时候是在消耗它们的空闲时间:等待用户输入、等待CPU、等待文件系统I/O或等待网络I/O。在你建立集群时,最重要的是要减少其中的应用程序等待CPU的时间,通过将用户分散在多个集群节点上,你还可以减少多个CPU绑定进程竞争CPU时间片的可能性。
    大多数组织能够购买足够数量的集群节点来消除CPU性能瓶颈,建立集群不能帮助你预防其他第三方的性能瓶颈,因此,第二个集群设计思想(单点故障的影响)是规划合理的容量,在大多数组织中这比性能更重要。

    其他性能和设计思想

    在这里非常简单地讨论一下,我们省去两个值得考虑的性能问题:单个节点(基于应用程序的配置文件或运行在每个集群节点上的应用程序)上可以容纳的用户会话数量的上限,以及运行在集群上不同应用程序的多种配置文件之间潜在的巨大差异。在第16、18章中将对这个主题进行更详细的讨论。但是在集群环境中进程上限不见了,集群文件系统或后端数据库的性能变得日益重要。(注意后端数据库可能也运行在集群上,参考第20章中“集群Zope”的一个例子。)

    规划容量和单点故障的影响

    对大多数组织更有效的第二个设计思想是单点故障和执行例行(规划好的)维护对业务的影响,在你决定购买多少集群节点时,企业或用户团体中单点故障对业务的影响可能是考虑设计唯一最重要的因素。

    购买比CPU峰值需要的节点数量更多的节点可能比较有意义,因为对最终用户来说,多余的节点会减少单个节点失效带来的影响,同时这样还使集群维护变得更容易(集群管理员在维护时可以从集群中移除一个节点,集群仍然有足够的处理能力继续完成作业)。

    假设你的预算允许你购买比你需要的更多的节点以满足CPU处理需求,你需要检查横跨集群节点的工作负载,并判断单点故障对业务的影响(例如:有多少用户会受到影响,有多少用户会话会受到影响),然后你要提供管理每个额外集群节点所有权的总体成本,并解释购买额外节点的好处。

    从Unix转换传统应用程序到Linux上

    如果你正在从一个Unix操作系统转换到一个Linux企业集群,在转换过程中使用Linux集群会有一个额外的好处,在你测试和开发新的Linux集群时,你可以让集群节点成为现有Unix服务器的NFS客户端(假设你现有的Unix服务器能够成为一个NFS服务器),虽然这个服务器不能在生产环境作为一个非常好的NFS服务器,但是它足以胜任在测试期间为提供访问生产数据文件的能力,这个服务器将解决封闭访问,使得测试使用活数据测试Linux集群成为可能,即使它们还是运转在旧的系统上。[4]

    [1]本书描述的建立高可用服务器的技术,但是建立NFS服务器已经超出本书的范围,然而,第4章对在备份NAS服务器上同步数据进行了简要的描述。(另一个使用开源软件同步数据的方法是drdb项目,查看http://www.drbd.org/

    [2]参考Evan Marcus和Hal Stern编写的《高可用性蓝图》一书中关于管理网络的论述。

    [3]CPU和内存需求、磁盘I/O、网络带宽等。

    [4]注意如果你的应用程序与转换endian问题进行竞争,这将不能工作,例如:Sparc硬件使用大endian字节排序,而Intel硬件使用小endian字节排序,要学习关于endian转换问题的更多信息,请查看Gulliver的游历或IBM的“Solaris到Linux移植指南”(http://www106.ibm.com/developerworks/linux/library/l-solar)。



    本章小结

    建立一个集群允许你排除CPU性能瓶颈,并改善你的用户应用程序的可靠性和可用性。经过仔细规划和测试,你能够建立一个运行关键应用不出现单点故障的Linux企业集群,规划合适的硬件容量(也就是说节点的正确数量),即使在正常的业务时间你也可以对集群进行维护,不会对最终用户造成任何影响。


    展开全文
  • 集群

    2009-05-04 17:00:00
    简单的说,集群(cluster)就是一组计算机,它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点(node)。一个理想的集群是,用户从来不会意识到集群系统底层的节点,在他们看来,集群是...

    简单的说,集群(cluster)就是一组计算机,它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点(node)。一个理想的集群是,用户从来不会意识到集群系统底层的节点,在他们看来,集群是一个系统,而非多个计算机系统。并且集群系统的管理员可以随意增加和删改集群系统的节点。

      1)为同一种或若干种生物在某种程度上恒定地占据某一地区的,广泛的且具有社会性微细差异的用词。因而该词有各种不同的意义。在生态学上,有时用以表示群,或群落或种群;有时则用以表示单位集团之意。植物是指全面,而动物则明显地是指哺乳类、鸟类以及蚁、蜂等社会性昆虫。集群内个体的社会结合程度也各有不同,可以区分为永久性集群(permanent colony)、季节性集群(seasonalcolony)以及繁殖集群(breeding colony)等。进而可把由同一种形成的集群称为种内集群(intraspe-cific colony);把由二种以上形成的集群称为种间集群(interspecific colony)。但也有时集群一词没有上述意义,而是指最先迁入到新地上来的群体,或指社会昆虫在同一巢穴中生活的一个集团。

      (2)特指上述之中的群体。

      (3)对细菌和霉菌的培养细胞特称为菌落。

      一、什么是集群?

      集群(Cluster)是由两台或多台节点机(服务器)构成的一种松散耦合的计算节点集合,为用户提

      供网络服务或应用程序(包括数据库、Web服务和文件服务等)的单一客户视图,同时提供接近容错机的故

      障恢复能力。集群系统一般通过两台或多台节点服务器系统通过相应的硬件及软件互连,每个群集节点都

      是运行其自己进程的独立服务器。这些进程可以彼此通信,对网络客户机来说就像是形成了一个单一系统,

      协同起来向用户提供应用程序、系统资源和数据。除了作为单一系统提供服务,集群系统还具有恢复服务

      器级故障的能力。集群系统还可通过在集群中继续增加服务器的方式,从内部增加服务器的处理能力,并

      通过系统级的冗余提供固有的可靠性和可用性。

      二、集群的分类:

      1、高性能计算科学集群:

      以解决复杂的科学计算问题为目的的IA集群系统。是并行计算的基础,它可以不使用专门的由十至

      上万个独立处理器组成的并行超级计算机,而是采用通过高速连接来链接的一组1/2/4 CPU的IA服务器,

      并且在公共消息传递层上进行通信以运行并行应用程序。这样的计算集群,其处理能力与真正超级并行

      机相等,并且具有优良的性价比。

      2、负载均衡集群:

      负载均衡集群为企业需求提供更实用的系统。该系统使各节点的负载流量可以在服务器集群中尽可

      能平均合理地分摊处理。该负载需要均衡计算的应用程序处理端口负载或网络流量负载。这样的系统非

      常适合于运行同一组应用程序的大量用户。每个节点都可以处理一部分负载,并且可以在节点之间动态

      分配负载,以实现平衡。对于网络流量也如此。通常,网络服务器应用程序接受了大量入网流量,无法

      迅速处理,这就需要将流量发送给在其它节点。负载均衡算法还可以根据每个节点不同的可用资源或网

      络的特殊环境来进行优化。

      3、高可用性集群:

      为保证集群整体服务的高可用,考虑计算硬件和软件的容错性。如果高可用性群集中的某个节点发

      生了故障,那么将由另外的节点代替它。整个系统环境对于用户是一致的。

      实际应用的集群系统中,这三种基本类型经常会发生混合与交杂。

      三、典型集群:

      科学计算集群:

      1、Beowulf

      当谈到 Linux 集群时,许多人的第一反映是 Beowulf。那是最著名的 Linux

      科学软件集群系统。实际上,它是一组适用于在 Linux 内核上运行的公共软件包的通称。其中包括

      流行的软件消息传递 API,如“消息传送接口”(MPI) 或“并行虚拟机”

      (PVM),对 Linux 内核的修改,以允许结合几个以太网接口、高性能网络驱动器,对虚拟内存管理器

      的更改,以及分布式进程间通信 (DIPC) 服务。公共全局进程标识空间允许使用 DIPC 机制从任何节

      点访问任何进程。

      2、MOSIX

      Beowulf类似于给系统安装的一个支持集群的外挂软件,提供了应用级的集群能力。而MOSIX是彻底修

      改Linux的内核,从系统级提供了集群能力,它对应用而言是完全透明的,原有的应用程序,可以不经改

      动,就能正常运行在MOSIX系统之上。集群中的任何节点都可以自由地加入和移除,来接替其它节点的工

      作,或是扩充系统。MOSIX 使用自适应进程负载均衡和内存引导算法使整体性能最大化。应用程序进

      程可以在节点之间实现迁移,以利用最好的资源,这类似于对称多处理器系统可以在各个处理器之间切换

      应用程序。由于MOSIX通过修改内核来实现集群功能,所以存在兼容性问题,部分系统级应用程序将无法

      正常运行。

      负载均衡/高可用性集群

      3、LVS(Linux Virtual Server)

      这是一个由国人主持的项目。

      它是一个负载均衡/高可用性集群,主要针对大业务量的网络应用(如新闻服务、网上银行、电子商务等)。

      LVS是建立在一个主控服务器(通常为双机)(director)及若干真实服务器(real-server)所组成

      的集群之上。real-server负责实际提供服务,主控服务器根据指定的调度算法对real-server进

      行控制。而集群的结构对于用户来说是透明的,客户端只与单个的IP(集群系统的虚拟IP)进行通信,

      也就是说从客户端的视角来看,这里只存在单个服务器。

      Real-server可以提供众多服务,如ftp, http, dns, telnet, nntp, smtp 等。主控服务器负责对Real-Server进

      行控制。客户端在向LVS发出服务请求时,Director会通过特定的调度算法来指定由某个Real-Server

      来应答请求,而客户端只与Load Balancer的IP(即虚拟IP,VIP)进行通信。

      其他集群:

      现在集群系统可谓五花八门,绝大部分的OS开发商,服务器开发商都提供了系统级的集群产品,最典型的

      是各类双机系统,还有各类科研院校提供的集群系统。以及各类软件开发商提供的应用级别的集群系统,如

      数据库集群,Application Server 集群,Web Server集群,邮件集群等等。

    展开全文
  • 自立性与创新性不足,致使一些地区高...本文根据产业特性说明高技术产业集群式发展的必然性,特别是通过论证企业家精神与高技术产业集群之间的良性互动关系,提出了以激发企业家精神为导向的集群式发展思路和现实意义
  • 企业管理论文价值链视角下的高新技术产业集群升级研究以西安高新区软件产业集群为例 1 绪论 1.1 选题背景及研究意义 1.1.1 选题背景 随着科学技术的快速发展信息时代的来临迅速改变着全球的经济形势以及经济结构...
  • Windows 集群

    千次阅读 2015-07-08 14:34:36
    仔细看过以前网友发表的一些文章,林林总总,分门别类,但总觉得对windows集群没有做一个详细介绍,所在这里我想对Windows集群做一个详细明了的概述。 目前应用最为广泛的集群计算技术可以分为三大类:高可用性集群...
  • 集群技术

    2014-10-26 23:44:47
    集群技术 集群(cluster)技术是一种较新的技术,通过集群技术,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益,其任务调度则是集群系统中的核心技术。本文就集群系统的...
  • 集群简介

    2010-04-13 00:36:00
    随着信息时代的到来,数据变得越来越重要,在这个信息爆炸的时代,海量数据的处理和运算显的越来来重要。由于大型机的成本太高,目前海量数据处理和大规模运算的首选方案就是集群技术。...在某种意义上,他们可
  • [关键字]应用服务器 集群 可用性 session 本文的主要目的是讨论企业应用实现高可用性的方案。即如何在保证性能的同时,使得应用保持 24 小时的可用性。 为实现此目的,灾难恢复和性能问题的解决是必不可少的。...
  • 什么是集群&集群的分类

    万次阅读 多人点赞 2019-06-13 09:16:30
    在某种意义上,他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点,通常通过局域网连接,但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算速度(和/或)可靠性。一般情况下集群...
  • 产业集群形态演化研究,邹东美,,了解产业集群形态演化进程对于集群建设具有指导意义。本文认为产业集群的演化是企业企业以及企业和环境之间相互作用的结果,基
  • 集群架构及常见集群特性介绍

    万次阅读 2017-10-26 21:12:31
    在某种意义上,他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点,通常通过局域网连接,但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算速度和/或可靠性。一般情况下集群计算机...
  • 一。配置集群   二。常用插件安装
  • 集群技术的简介

    万次阅读 2019-04-03 09:42:40
    集群技术 集群(cluster)技术是一种较新的技术,通过集群技术,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益,其任务调度则是集群系统中的核心技术。 集群是一组相互独立的、通过...
  • 集群相关

    2012-12-25 15:30:40
    需要从有状态和无状态两个方面着手处理集群 有状态的应用属于并发,如何在集群下提高并发性能有一套方法。 无状态的应用属于并行,让并行自由奔跑。无状态的服务组件就不需要考虑集群集群部署的情况下,...
  • 数据库集群

    2014-06-16 17:12:00
    数据库集群 用来保存计算最终结果的数据库是整个信息系统的重要组成部分,技术也相对成熟。然而,对于所有数据库而言,除了记录正确的处理结果之外,也面临着一些挑战:如何提高处理速度,数据可用性、数据...
  • 集群方案分析

    千次阅读 2012-04-26 10:47:33
    集群方案分析 前言 目的 在我司部分项目实施过程中,用户提出了要求采用”双机”的方案。目前业内双机技术方案比较多,能解决的问题、达到的目标、用户...在某种意义上,他们可以被看作是一台计算机。集群系统中的
  • 新能源产业的发展对促进河北省经济发展具有重要意义,河北省新能源产业集群初具规模,提升产业集群竞争力成为推动河北省新能源产业快速发展的重要因素。文章以GEM模型为分析框架,通过对相关因素的分析,找到制约河北省...
  • 集群出现的意义  保证系统对外提供的服务不被中断, 或将系统宕机时间最小化; 使得系统负载均衡, 避免单点故障给企业带来不可估量的损失.   <br /> <br />集群的类型  高可用集群...
  • Linux 集群大全

    千次阅读 2017-02-06 16:25:39
    Rawn Shah 作为专家,在 Linux 现有的开放源码和封闭源码集群解决方案方面为您指点迷津。
  • 数据库集群技术

    千次阅读 2016-03-29 09:11:29
    1.数据库集群的作用:  理想的数据库集群应该可以做到以下几点:  ◆ 在需要更高数据库处理速度的时候,我们只需简单增加数据库服务器就可以了。这样可以大大减小硬件投资的风险,而且大大提高现有服务的质量...
  • 集群技术学习总结

    万次阅读 2016-05-16 08:40:26
    集群技术 集群(cluster)技术是一种较新的技术,通过集群技术,可以在付出较低成本的情况下获得在性能、可 靠性、灵活性方面的相对较高的收益,其任务调度则是集群系统中的核心技术。 集群是一组相互独立的...
  • MySQL集群架构

    千次阅读 2020-07-13 17:50:24
    MySQL集群架构 一、集群架构设计 1、架构设计理念 在集群架构设计时,主要遵从下面三个维度: 可用性 扩展性 一致性 2、可用性设计 站点高可用,冗余站点 服务高可用,冗余服务 数据高可用,冗余数据 保证高可用...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 31,223
精华内容 12,489
关键字:

企业集群的意义