订阅云计算RSS CSDN首页> 云计算

安装Linux高性能计算集群

发表于2009-08-26 11:04| 次阅读| 来源csdn| 0 条评论| 作者

摘要:将一个新实施集群框架迁移到可用的高性能计算集群的第一个挑战就是像第三方软件包一样安装操作系统。在4到8个点的集群中,可以手动的安装每一个节点。但是,较大规模的,工业化的集群要求更有效的方法。本文描述了不同类型的集群配置,高效的Linux安装方法。和每一种方
将一个新实施集群框架迁移到可用的高性能计算集群的第一个挑战就是像第三方软件包一样安装操作系统。在4到8个点的集群中,可以手动的安装每一个节点。但是,较大规模的,工业化的集群要求更有效的方法。本文描述了不同类型的集群配置,高效的Linux安装方法。和每一种方法的好处。
  
  高性能计算集群的主节点和计算节点的配置使用三种主要的类型:松散结合型、适度结合型、和紧密结合型。每一个配置描述计算节点与主节点的依存关系(参见图一)。尽管所有三种类型都要求主节点的可用性来保证任务的运行,但是主节点状态对计算节点的可用性并不是必须的。
  
 安装Linux高性能计算集群(图一)

  
图一:主集群的计算节点配置

  从操作系统的视点来看,在松散结合型集群中计算节点是完全自主的机器。每节点都有一份操作系统(OS)的拷贝,这个操作系统允许任何人引导系统并登录节点而不需要与与主节点联系――除非网络使用动态Internet协议(IP)地址。获得动态IP地址失败不会抑制一个节点的成功启动,但是它会只能通过本地控制台访问。
  
  集群适度的结合将计算节点跟紧密的与主节点结合。在这配置,计算节点的引导过程中需要主节点的介入,在最简模式,程序和信息需要在引导过程中定位主节点。一旦计算节点已经从主节点接收到所有需要的文件系统,他就会作为独立的机器运转并可以通过所有被定位的文件系统登录。
  
  紧密结合型系统对主节点的依靠更深入一步。计算节点必须通过网络从主节点上加载操作系统。在紧密结合型集群中的计算节点不在本地存储文件系统,除此以外可能会有交换(swap)或临时(tmp)文件系统。从操作系统的视点出发,在计算节点和柱节点之间没有太大的差别。确实不存在独立登陆计算节点的能力。处理空间是平衡的所以集群看起来更像一个大的单片机而不像一个有小型的计算机组成的基群。
  
  以下的章节解释了建设和安装理想类型集群的可以使用应用和方法。每一种配置都具有独特的优势和缺陷,并且讨论和研究了哪一种配置最能适用于特别的需要。
  
  安装松散结合型集群
  在松散结合型集群中,每一个计算节点都有一份操作系统的本地拷贝。最单调和令人厌烦的工作就是每次都使用CD进行安装。自动安装松散型集群的方法包括:
  
  Kickstart文件
  The Red Hat& Kickstart的安装方式是让用户创建一个单一的简单的文本文件来让Red Hat Linux许多的安装操作诸如语言选择、网络配置、键盘选择、引导文件加载器的安装(例如Linux Loader(LILO)或GRand Unified Bootloader(GRUB))、磁盘分区、鼠标选择、和X Windows的配置。Kickstart文件包含三个部分:命令、软件包列表、和脚本。
  
  命令. 命令部分包含所有安装选项例如语言和分区特征、网络配置、和安装方法。例如,管理员可以使用网络配置选项来指定节点的IP地址、主机名称、和网关。
  
  Packages.以%packages命令为起始的Kickstart文件部分显示需要安装的软件包的类表。可以将一个组成部分的名称(对于一组相关的包)或独立的软件包名称列入清单。
  
  在Red Hat Linux 光盘(Redhat/base/comps)上的一个comps文件显示了一些预定义的组件。用户也可以建立他们自己的构架和所需要的软件包列表。(注意:为建立一个构架,用户必须建立一个新的含有国际标准化组织的带有他们自己修改过的comps文件的标准化(ISO)镜像CD-ROM。)文件的第一个组成部分显示的是Linux运行所必需的软件包的基本的组成部分。
  
  脚本.管理员可以在Kickstart文件中使用'安装后执行'命令来安装没有包含在CD-ROM中或更进一步协调的软件包,组如定制的主机文件或允许SSH(安全外壳)。
  
  安装后执行的部分通常在Kickstart文件的结尾部分,并且以%post命令开始。要增加的软件包必须是可以从服务器或者网络上可以获得的,通常是在主节点上。%post部分看起来如图2中所示。这些例子命令将从IP地址为10.180.0.2的服务器上安装名为my_driver.rpm的rpm包。
  
 安装Linux高性能计算集群(图二)

  
图二:Kickstart文件安装后执行命令

  Red Hat 7.1包括一个Kickstart配置工具,一个图形化用户界面(GUI)的工具用来建立Kickstart文件(代替键入操作)。在选择Kickstart操作之后,用户可以点击保存文件按钮来生成kickstart文件。配置工具允许用户来选择更多的Kickstat文件需要的操作并为那些需要改变通常的文件来满足他们需要的专业用户提供更多的选择。
  
  Kickstart安装方法
  Kickstart文件中的安装方法命令让管理员定制安装方法:使用本地CD-ROM或本地磁盘,或通过网络文件系统(NFS),文件传输协议(FTP),或超文本传输协议(HTTP)。最麻烦的事情就是为每个节点创建Kickstart文件并将文件保存到Red Hat安装引导软盘上。当系统从软盘引导时(Red Hat Linux CD必须在CD-ROM中,并且Kickstart文件必须指定从CD-ROM进行安装),安装进程自动基于软盘上的Kickstart文件所制定的特备选项开始运行。每一个节点拥有不同的网络设置(IP地址和主机名)并且显然需要分别放置在不同的盘上。这种方式对于大规模的集群安装是荣誉乏味的:它要求手动干涉将软盘和CD从一个节点到另一个节点,除非你拥有很大数量的软盘和CD可以在所有节点上同时进行安装。
  
  更有效的方法是通过网络执行安装。同样的,每一个节点必须有自己的软盘,但是不再需要CD。Kickstart文件的'安装方法'部分需要更改为支持FTP或NFS安装。一旦Red Hat使用Kickstart文件引导进行安装,它就会从特定的网络服务器上接收安装镜像文件(通常是主节点)。
  
  在最经常使用的安装方式中,管理员将Kickstart文件与CD镜像文件一起放置在网络中。引导协议/动态主机配置协议(BOOTP/DHCP)服务器和NFS服务器比选安置于本地网络中,通常在集群的主节点中。BOOTP/DHCP服务器必须包含所有要在集群中安装的设备的配置信息。BOOTP/DHCP服务器向网络客户提供网络信息,就象安装引导核心的位置和虚拟磁盘以及Kickstart文件的可能的位置。如果Kickstart文件的位置没有被提供,安装程序会尝试着去读取/kickstart/1.2.3.4-kickstart文件,其中1.2.3.4是在DHCP服务器中被安装设备的IP地址。最终,NFS客户端mount文件路径,拷贝特定的文件到本地硬盘上,并像在Kickstart文件中描述的一样开始对机器进行安装。
  
  使用系统镜像器(Systemlmager)安装集群
  是远程系统复制和维护系统,用来减少创建集群中自主系统的重复的步骤。系统镜像器要求管理员在克隆剩余的计算节点前来安装和配置一个样本计算节点。这种方式的一个先进之处就是在安装过程中,管理员不需要写特殊的脚本来安装附加的软件包或配置系统设置。
  
  在系统镜像器方式中,将要被作为源或者样本系统使用的计算节点被称为'黄金客户端'。管理员必须使用传统的方法首先安装和配置所以它对所有计算节点具有代表性。
  
  系统镜像器,是一个安装在主节点的,然后使用getimage命令创建整个黄金客户端机器的系统镜像。这个镜像只包含远程设备的文件而不包含整个分区的镜像,这样可以节约空间。prepareclient命令建立一个分区信息表和被mount的文件系统的列表。这允许分区被建成具有相同数量的mount点和尺寸。
  
  主节点现在包含用来创建黄金客户端副本的信息(参见图3)。在对计算节点的安装过程中,addclient命令允许管理员调整每一个节点系统特定的配置信息。Addclient命令提示主机名基本信息和范围、客户镜像、和IP地址。基本信息表现了主机名的静态部分,范围表现了附加主机名的开始和结束数值。例如,将node作为基本信息并且1-3作为范围,那么安装路由将建立node1,node2,node3。
  
安装Linux高性能计算集群(图三)

  
图三:系统镜像器安装方法

  当名称转换完成之后,管理员被提示指派安装镜像和IP地址到到这些机器上。主机名和相关的IP地址被加入主机名称列表中,并在安装和引导时被使用。
  
  依赖于在主节点上完成这些步骤之后,必须对计算节点选择引导方法引导方法。系统镜像器核心和虚拟磁盘可以从便携介质诸如软盘和CD-ROM(分别通过makeautoinstallflopy或makeautoinsyalled命令创建)引导。另外,核心和虚拟磁盘可以通过预引导执行环境(PXE)进行网络引导。
  
  信筒镜像器包含对Linux PXE 服务器(PXELinux)预建配置文件,该文件必须运行于主节点上。PXE来说是一种简单的协议,该协议允许计算节点与BOOTP/DHCP服务器联系。BOOTP(和DHCP,对BOOTP的扩展)允许服务器提供一个客户端――通过硬件介质控制(MAC)地址识别――许多初始配置信息例如IP地址、子网掩码、广播地址、网络地址、网关地址、主机名、以及核心和虚拟磁盘下载路径。
  
  一旦节点被引导,它必须重新获得他的IP地址和主机名称。这种操作是通过在主节点上的DHCP服务器指派所有的值或通过安置所有的值在每一个节点的引导软盘上。系统镜像器提供一个DHCP配置-创建协议,makedhcpserver,这些会联系映射主机名和IP地址的DHCP 配置文件。Makedhcpstatic命令会创建一个在机器和主机名/IP地址对之间的静态映射。
  
  通过系统镜像器维护集群
  系统管理员也可以使用黄金客户镜像作为一个主管日志和一个单一的管理点来实施集群范围内的修改――从一个文件到一个整体的软件包。首先集群管理员在黄金客户端上做需要的修改。然后,管理员可以从集群的基础中更新现在正在使用的镜像或创建一个新的镜像。
0
0
安装Linux高性能计算集群