在本文中，我将分享一些在虚拟I / O（VIO）环境中构建PowerHA™集群的技巧。 我将简要描述一个简单的两节点PowerHA集群的LPAR和VIO服务器（VIOS）设计和布局。 但是，我将不涉及特定的PowerHA配置，因为该主题太大而无法在此处详细介绍。 有关详细信息，请参考IBM PowerHA官方文档（请参阅参考资料 ）。 本文还假定您具有AIX®，VIO和PowerHA的经验。

总览

本文涵盖的示例环境由两个POWER6®595服务器组成。 每个595都配置有双VIO服务器以实现冗余，并且已经在两个物理框架之间构建了两个节点的群集，即，一个PowerHA节点驻留在每个Power 595服务器上。 LPAR正在运行带有PowerHA 5.4.1.3。的AIX 5.3 TL7 SP5。 每个VIOS都在整个虚拟I / O环境中使用1.5.2.1-FP11.1版构建。 图1显示了此配置。

图1. PowerHA集群概述

在以下各节中，我将简要介绍群集节点的虚拟网络和虚拟（共享）存储配置。 我将特别强调以下方面：

• PowerHA引导和服务网络以及地址
• PowerHA网络的共享以太网适配器（SEA）配置
• 共享卷组注意事项

虚拟网络

虚拟网络配置是PowerHA配置的重要方面。 图2显示了VIOS网络的配置方式。 在此示例中，在一个595帧上。 VIOS网络配置在第二帧上重复。 （ 单击以查看大图。）

图2. VIOS网络概述

如图2所示，有PowerHA和非HA LPAR作为同一VIOS对的客户端。 您还将注意到多个SEA，即每个VLAN和一种使用类型： SEB ， BACKUP和PowerHA 。 每个VLAN都有一个唯一的IP范围： PUBLIC 10.2.2， BACKUP 10.3.3和PowerHA 10.1.1。 10.4.4网络上的每个LPAR上也都有一个接口，用于通过POWER Hypervisor虚拟网络在LPAR之间进行内部（专用）通信。

HA节点通过VLAN40（PVID40 / 41）（即PowerHA网络）与外界通信。 非HA LPAR通过PUBLIC网络通过VLAN10（PVID10）进行通信。 每个VIOS还在VLAN20上还有另一个SEA，用作网络上备份的专用VLAN，因此称为网络名称BACKUP 。

同时为PUBLIC和BACKUP网络配置了共享以太网适配器故障转移（SEA FO）。 PowerHA网络没有SEA FO。 如果针对PowerHA网络的VIA上的SEA失败，则服务IP将移至由冗余VIOS服务的另一个引导适配器。

没有任何SEA使用VLAN标记。 不需要，因为此网络中只有少数几个VLAN需要处理。 但是，您的要求可能会有所不同。

使用cltopinfo命令查看PowerHA集群网络时，每个节点上的网络定义如下：

清单1.网络定义

# cltopinfo
Cluster Name: CLUSTER-A
Cluster Connection Authentication Mode: Standard
Cluster Message Authentication Mode: None
Cluster Message Encryption: None
Use Persistent Labels for Communication: No
There are 2 node(s) and 3 network(s) defined

NODE aix01adm:
        Network net_diskhb_01
                aix01adm_hdisk1_01    /dev/hdisk1
        Network net_ether_01
                aix01adm		10.2.2.8
        Network net_ether_02aix01			10.1.1.12
                aix01b2v1		10.1.1.76
                aix01b1v2		10.1.1.140

NODE aix02adm:
        Network net_diskhb_01
                aix02adm_hdisk1_01    /dev/hdisk1
        Network net_ether_01
                aix02adm		10.2.2.15
        Network net_ether_02
                aix01			10.1.1.12
                aix02b1v3		10.1.1.77
                aix02b2v4		10.1.1.141

Resource Group HARG1
        Startup Policy		Online On Home Node Only
        Fallover Policy	Fallover To Next Priority Node In The List
        Fallback Policy	Never Fallback
        Participating Nodes	aix01adm aix02adm
        Service IP Label	aix01

如您所见，服务适配器和引导适配器都在同一个子网（分段的）IP网络中，其中b1v1定义与第一个VIOS（v1）关联的第一个引导适配器（b1），依此类推。 服务地址是没有附加adm的hostname 。

清单2.服务和启动适配器

Service address:	aix01		10.1.1.12	
							Netmask 255.255.255.192 
							IP range 10.1.1.1 - 62

boot1 address:		aix01b1v1		10.1.1.76	
							Netmask 255.255.255.192
							IP range 10.1.1.65 - 126

boot2 address:		aix01b2v2		10.1.1.140	
							Netmask 255.255.255.192
							IP range 10.1.1.129 - 190

boot1 address:		aix02b1v3		10.1.1.77	
							Netmask 255.255.255.192
							IP range 10.1.1.65 - 126

boot2 address:		aix02b2v4		10.1.1.141
							Netmask 255.255.255.192
							IP range 10.1.1.129 - 190

通常，在VIOS上配置SEA时，应部署SEA故障转移以确保在VIOS发生故障时保护网络连接。 但是，在此PowerHA环境中，方法不同。 SEA FO不用于PowerHA网络。 这样，PowerHA可以知道并控制网络故障和故障转移。 在这种情况下，每个VIOS中都有一个针对PowerHA网络的SEA。 如果VIOS发生故障，服务地址将移至冗余VIOS服务的引导适配器。

此方法的主要驱动因素是PowerHA集群在虚拟网络环境中进行通信的方式。 如果配置了SEA FO且发生了故障，则HA将无法检测到故障。 同样，如果物理层上的所有通信都丢失了，则HA仍会认为网络正常，因为它仍然能够在虚拟机管理程序上通过虚拟LAN路由流量。

这就是为什么在群集中的所有节点上配置netmon.cf文件很重要的原因。

该文件指导HA如何确定何时失去与网络或其伙伴HA节点的连接。 如果未正确配置此文件，那么PowerHA可能无法检测到网络故障。

netmon.cf文件和VIO

与在VIO环境中配置netmon.cf文件有关，我建议您回顾两个APAR。 您很快就会了解此文件为何如此重要以及何时应实施。

APAR IZ01331描述了将VIO与PowerHA集群一起使用的场景以及检测网络故障时面临的挑战。 例如，如果从网络上拔出了整个CEC，则该Frame上的PowerHA节点将不会检测到本地适配器关闭事件，因为在VIO客户端之间（在同一框架上）传递的流量看起来像来自该VEC客户端的正常外部流量。 LPAR操作系统的视角 。”

为了解决此问题，netmon.cf文件用于允许客户声明给定的适配器仅在可以ping通一组指定目标的情况下才应考虑使用。

如果VIOS在同一网络上具有多个物理接口，或者在同一帧中有两个或多个使用一个或多个VIOS的PowerHA节点，则不会通知PowerHA（因此不会对单个物理接口故障做出React）。

在极端情况下，由VIO服务器管理的所有物理接口均发生故障，VIOS将继续在同一帧中将流量从一个LPAR路由到另一个LPAR，PowerHA使用的虚拟以太网接口不会被报告为发生故障，而PowerHA将不React。

群集中的每个节点都有一个自定义的netmon.cf文件，该文件列出了它必须能够ping通以将接口标记为向上或向下的所有IP地址。 例如， aix01adm驻留在框架1（595-1）上，而aix02adm驻留在框架2（595-2）上。 如果595-1上所有VIOS上所有物理接口的所有网络连接丢失，则aix01adm仍将继续运行，因为它仍能够通过虚拟网络路由数据包。 为了使该节点（和其他节点）能够检测到问题，请在netmon.cf文件中填充它应该能够在特定接口上访问的地址。 如果不能，则将这些接口标记为已关闭，并且PowerHA能够做出相应的React。

APAR IZ01874阐明了如何为netmon.cf文件选择IP地址。 该文件应包含不在集群配置中的远程IP地址和主机名，可以通过PowerHA网络接口进行访问。 这些地址之前必须加!REQD 。

目标的一些不错的选择是名称服务器（DNS服务器）和网关（路由器），或者将响应ping的可靠外部IP地址（例如NTP服务器）。 您可以使用以下ping命令来验证将在特定接口上应答ping：

# ping -S <Boot IP address> <IP addr in netmon.cf>

其中<Boot IP address>是在引导接口上配置的IP地址。 例如，

清单4.特定接口上的ping命令响应

# ping -c5 -S aix01b1v1 aix02b1v3
PING bxaix04b1v1: (10.1.1.77): 56 data bytes
64 bytes from 10.1.1.77: icmp_seq=0 ttl=255 time=0 ms
64 bytes from 10.1.1.77: icmp_seq=1 ttl=255 time=0 ms
64 bytes from 10.1.1.77: icmp_seq=2 ttl=255 time=0 ms
64 bytes from 10.1.1.77: icmp_seq=3 ttl=255 time=0 ms
64 bytes from 10.1.1.77: icmp_seq=4 ttl=255 time=0 ms

----aix02b1v3 PING Statistics----
5 packets transmitted, 5 packets received, 0% packet loss
round-trip min/avg/max = 0/0/0 ms

清单5显示了来自两个节点的两个不同物理帧上的一些netmon.cf示例。

清单5. netmon.cf示例

HOST: aix01adm 595-1
--------------------
# Care is required when modifying this file!
# The nature of the VIO/PowerHA environment means the contents
# of netmon.cf on each cluster node is different.
# IP labels/addresses on virtual interfaces in any VIO client LPAR
# within this server frame, must be excluded from this file!
!REQD aix01b1v1 10.2.2.1
!REQD aix01b2v2 10.2.2.1
!REQD aix01b1v1 10.1.1.1
!REQD aix01b2v2 10.1.1.1
!REQD aix01b1v2 10.1.1.77
!REQD aix01b2v2 10.1.1.141
!REQD aix01b1v1 aix02b1v3
!REQD aix01b2v2 aix02b2v4
!REQD aix01b1v1 10.1.9.2
!REQD aix01b2v2 10.1.9.3
10.2.2.1
10.1.9.2
10.1.9.3
ntp-srvr
ntp-srvr

HOST: aix02adm 595-2
--------------------
# Care is required when modifying this file!
# The nature of the VIO/PowerHA environment means the contents
# of netmon.cf on each cluster node is different.
# IP labels/addresses on virtual interfaces in any VIO client LPAR
# within this server frame, must be excluded from this file!
!REQD aix02b1v3 10.2.2.1
!REQD aix02b2v4 10.2.2.1
!REQD aix02b1v3 10.1.1.1
!REQD aix02b2v4 10.1.1.1
!REQD aix02b1v3 10.1.1.76
!REQD aix02b2v4 10.1.1.140
!REQD aix02b1v3 aix01b1v1
!REQD aix02b2v4 aix01b2v2
!REQD aix02b1v3 10.1.9.2
!REQD aix02b2v4 10.1.9.3
10.2.2.1
10.1.9.2
10.1.9.3
ntp-srvr
ntp-srvr

如果以一行为例，

!REQD aix01b1v1 aix02b1v3

!REQD标记指定适配器（aix01b1v1）可以对目标（aix02b1v3）进行ping操作。 aix01b1v1条目指定要用于测试的接口，即aix01b1v1解析为10.1.1.76，这是en2接口上的地址。 如果能够ping通目标aix02b1v3，则该接口将被视为已启用。

清单6.确定适配器主机名

# host aix01b1v1
aix01b1v1 is 10.1.1.76

# ifconfig en2
en2: flags=1e080863,480<UP,BROADCAST,NOTRAILERS,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT,CHECKSUM_OFFLOAD(ACTIVE),CHAIN>
        inet 10.1.1.76 netmask 0xffffffc0 broadcast 10.1.1.127
        inet 10.1.1.12 netmask 0xffffffc0 broadcast 10.1.1.63
         tcp_sendspace 262144 tcp_recvspace 262144 rfc1323 1

en2将用于连接到aix02b1v3，这是其595-2上其伙伴节点上的接口。 如果无法通信，则接口en2（aix01b1v1）将被标记为关闭。 不要在此文件中包含同一框架上存在的任何节点。 所有条目都应针对驻留在物理框架之外的系统，以确保检测到物理（非虚拟）网络上外界发生的实际物理网络故障。

注意不要在netmon.cf文件中指定接口名称，例如：

!REQD en2 10.1.1.10

包括接口名称在VIO环境中不起作用。 我上次检查时，HA开发团队加入了设计变更请求（DCR），以解决此问题。 由于RSCT（netmon）确定netmon.cf中的第二个字段是IP /主机名还是接口名称，某些客户的接管速度很慢。 在某些情况下，netmon将尝试解析主机名的IP地址，例如$ host en2 ，它将失败。 IBM开发人员正在研究一种新的算法，以防止接口名称被视为主机名，特别是对于诸如enX之类的明显格式。 现在，最好在netmon.cf文件中取消使用接口名称，例如en X。

建议仅在您的VIO环境中使用netmon.cf方法。 使用此方法可以从“我可以接收任何网络流量吗？”来更改所谓的良好适配器的定义。 到“我可以成功ping通某些地址吗？（无论我​​能看到多少流量）”。

这会使适配器更容易被错误地认为是宕机。 如果必须使用此新功能，建议您为需要监视的每个接口包含尽可能多的目标。

虚拟（共享）存储

有关PowerHA和虚拟SCSI（VSCSI）的IBM技术文档明确定义了VIO环境中受支持的存储配置。 共享卷组（VG）必须定义为“增强的并发模式”。 通常，增强型并发模式是在PowerHA集群中共享卷组的推荐模式。 在这种模式下，多个PowerHA节点可以访问共享的卷组，从而在发生节点故障时可以更快地进行故障转移（磁盘接管）。 这些共享磁盘上的所有卷组管理都是通过PowerHA节点而不是VIOS完成的。

在示例环境中，在主节点上运行lspv确认共享卷组处于并发模式。

清单7.在主节点上运行lspv

root@aix01adm / # lspv
hdisk0  00c79a70a6858137          rootvg
hdisk1  00c79a70a20c321c          sapvg           concurrent

图3显示每个节点上有两个卷组。 每个节点都有自己的（非共享的）根卷组（ rootvg ）。

图3. VIOS VSCSI概述

主节点拥有共享卷组并处于激活状态，因此拥有所有权。 我可以通过在主服务器上运行lsvg命令并注意其某些特征来确认这一点。 VG STATE处于活动状态， VG Mode为并发， Concurrent设置为增强型功能，并且VG PERMISSION处于读/写状态。 共享卷组中的逻辑卷处于打开状态。

清单8.在主节点上运行lsvg

root@aix01adm / # lsvg sapvg
VOLUME GROUP:       sapvg                    VG IDENTIFIER:  00c79a6000004c0000000123a2278720VG STATE:           active                   PP SIZE:        64 megabyte(s)
VG PERMISSION:      read/write               TOTAL PPs:      6398 (409472 megabytes)
MAX LVs:            256                      FREE PPs:       1596 (102144 megabytes)
LVs:                13                       USED PPs:       4802 (307328 megabytes)
OPEN LVs:           13                       QUORUM:         2 (Enabled)
TOTAL PVs:          1                        VG DESCRIPTORS: 2
STALE PVs:          0                        STALE PPs:      0
ACTIVE PVs:         1                        AUTO ON:        no
Concurrent:         Enhanced-Capable         Auto-Concurrent: Disabled
VG Mode:            Concurrent
Node ID:            2                        Active Nodes:       1
MAX PPs per VG:     32512
MAX PPs per PV:     4064                     MAX PVs:        8
LTG size (Dynamic): 256 kilobyte(s)          AUTO SYNC:      no
HOT SPARE:          no                       BB POLICY:      relocatable

root@aix01adm / # lsvg -l sapvg
sapvg:
LV NAME             TYPE       LPs     PPs     PVs  LV STATE      MOUNT POINT
oraclelv            jfs2       192     192     1    open/syncd    /oracle
sapmnt_CG1lv        jfs2       144     144     1    open/syncd    /sapmnt
usrsap_CG1lv        jfs2       144     144     1    open/syncd    /usr/sap
oraclestagelv       jfs2       128     128     1    open/syncd    /oracle/stage
sapreorg_CG1lv      jfs2       64      64      1    open/syncd    /oracle/CG1/sapreorg
sapbackup_CG1lv     jfs2       16      16      1    open/syncd    /oracle/CG1/sapbackup
mirrlogA_CG1lv      jfs2       8       8       1    open/syncd    /oracle/CG1/mirrlogA
mirrlogB_CG1lv      jfs2       8       8       1    open/syncd    /oracle/CG1/mirrlogB
origlogA_CG1lv      jfs2       8       8       1    open/syncd    /oracle/CG1/origlogA
origlogB_CG1lv      jfs2       8       8       1    open/syncd    /oracle/CG1/origlogB
sapdata1_CG1lv      jfs2       1600    1600    1    open/syncd    /oracle/CG1/sapdata1
oraarch_CG1lv       jfs2       80      80      1    open/syncd    /oracle/CG1/oraarch
loglv01             jfs2log    1       1       1    open/syncd    N/A

在故障转移点之前，不会挂载备用节点上的文件系统，因此不可能意外使用备用节点上的数据。 在备用节点上，它可以访问共享的增强并发卷组，但只能以被动，只读模式进行。 VG PERMISSION设置为“仅被动”。 共享卷组中的逻辑卷已关闭。

清单9.备用节点

root@aix02adm / # lsvg sapvg
VOLUME GROUP:       sapvg                    VG IDENTIFIER:  00c79a6000004c0000000123a2278720
VG STATE:           active                   PP SIZE:        64 megabyte(s)
VG PERMISSION:      passive-only             TOTAL PPs:      6398 (409472 megabytes)
MAX LVs:            256                      FREE PPs:       1596 (102144 megabytes)
LVs:                13                       USED PPs:       4802 (307328 megabytes)
OPEN LVs:           0                        QUORUM:         2 (Enabled)
TOTAL PVs:          1                        VG DESCRIPTORS: 2
STALE PVs:          0                        STALE PPs:      0
ACTIVE PVs:         1                        AUTO ON:        no
Concurrent:         Enhanced-Capable         Auto-Concurrent: Disabled
VG Mode:            Concurrent
Node ID:            1                        Active Nodes:       2
MAX PPs per VG:     32512
MAX PPs per PV:     4064                     MAX PVs:        8
LTG size (Dynamic): 256 kilobyte(s)          AUTO SYNC:      no
HOT SPARE:          no                       BB POLICY:      relocatable

root@aix02adm / # lsvg -l sapvg
sapvg:
LV NAME             TYPE       LPs     PPs     PVs  LV STATE      MOUNT POINT
oraclelv            jfs2       192     192     1    closed/syncd  /oracle
sapmnt_CG1lv        jfs2       144     144     1    closed/syncd  /sapmnt
usrsap_CG1lv        jfs2       144     144     1    closed/syncd  /usr/sap
oraclestagelv       jfs2       128     128     1    closed/syncd  /oracle/stage
sapreorg_CG1lv      jfs2       64      64      1    closed/syncd  /oracle/CG1/sapreorg
sapbackup_CG1lv     jfs2       16      16      1    closed/syncd  /oracle/CG1/sapbackup
mirrlogA_CG1lv      jfs2       8       8       1    closed/syncd  /oracle/CG1/mirrlogA
mirrlogB_CG1lv      jfs2       8       8       1    closed/syncd  /oracle/CG1/mirrlogB
origlogA_CG1lv      jfs2       8       8       1    closed/syncd  /oracle/CG1/origlogA
origlogB_CG1lv      jfs2       8       8       1    closed/syncd  /oracle/CG1/origlogB
sapdata1_CG1lv      jfs2       1600    1600    1    closed/syncd  /oracle/CG1/sapdata1
oraarch_CG1lv       jfs2       80      80      1    closed/syncd  /oracle/CG1/oraarch
loglv01             jfs2log    1       1       1    closed/syncd  N/A

必须安装bos.clvm.enh文件集（在集群中的所有节点上）以支持增强的并发卷组。 使用增强的并发卷组启动新的子系统（gsclvmd）。 您可以查询该子系统以确定活动的增强并发卷组。

清单10.查询gsclvmd子系统

# lssrc -s gsclvmd
Subsystem         Group            PID          Status
 gsclvmd                           327756       active

# ps -fp 462906
UID     PID    PPID   C    STIME    TTY TIME CMD
root  462906  327756   0   Nov 04   -   0:02 /usr/sbin/gsclvmd -r 30 -i 300 -t 300 -c 00c79a6000004c0000000123a2278720 -v 0

# lssrc -ls gsclvmd
 Subsystem       Group           PID     Status
 gsclvmd         gsclvmd        327756  active

 Active VGs # 1
 vgid                                   pid
 00c79a6000004c0000000123a2278720       462906

要为共享卷组启用增强的并发模式（快速磁盘接管），可以使用CSPOC。

清单11.启用增强的并发模式

# smit cl_vg
                                                                    Shared Volume Groups

Move cursor to desired item and press Enter.

  List All Shared Volume Groups
  Create a Shared Volume Group
  Create a Shared Volume Group with Data Path Devices
  Enable a Shared Volume Group for Fast Disk Takeover
  Set Characteristics of a Shared Volume Group
  Import a Shared Volume Group
  Mirror a Shared Volume Group
  Unmirror a Shared Volume Group

请参阅IBM技术文档和PowerHA文档，以获取有关PowerHA和虚拟存储支持的更多信息。

摘要

这只是这种配置的一种方法。 我希望这些简短的提示为您提供一些有关如何在VIO环境中使用PowerHA的想法。

翻译自: https://www.ibm.com/developerworks/aix/library/au-powerha/index.html

IBM PowerHA System Mirror for AIX是集群软件，当系统发生故障时，它可以将资源或资源组（应用程序）自动或手动移动到另一个IBMAIX®系统。

心跳和故障检测是在群集可用的所有接口上执行的。 这可能是网络接口，光纤通道（FC）适配器接口和Cluster Aware AIX（CAA）存储库磁盘。

在PowerHA 6.1和早期版本中，不支持通过FC适配器接口进行心跳，而是使两个节点都可以使用SAN附加的心跳磁盘，该磁盘用于心跳和故障检测。 在PowerHA 7.1中，不再支持使用心跳磁盘，并且支持通过SAN配置心跳是代替心跳磁盘使用的受支持方法。

为了使SAN发生心跳，需要将AIX系统中的FC适配器配置为充当目标和发起方 。 在大多数SAN环境中，启动器设备属于服务器，该服务器通常是主机总线适配器（HBA），而目标通常是存储设备，例如存储控制器或磁带设备。 IBM AIX 7.1信息中心包含可以支持目标方式的受支持的FC适配器的列表。 这些适配器可用于SAN上的心跳。

总览

在本文中，我提供了有关如何在两种情况下设置SAN心跳的简单示例。 第一个示例使用物理I / O的两个AIX系统，另一个示例使用虚拟I / O服务器和N端口ID虚拟化（NPIV）的两个AIX逻辑分区（LPAR）。

在每个示例中，我们都有一个两节点的PowerHA 7.1集群，其中一个节点位于另一台基于IBMPOWER®处理器的服务器上。 本文不介绍如何配置共享存储，高级网络通信或应用程序控制器。 这是有关如何构建非常简单的群集并使SAN心跳正常运行的实际示例。

要求

必须满足以下最低要求，以确保我们可以创建集群并配置SAN心跳：

• 必须使用最新技术级别和Service Pack在两个AIX系统上安装AIX 6.1或AIX 7.1（最好是AIX 7.1）。
• 需要使用最新的Service Pack在两个AIX系统上安装PowerHA 7.1。
• 服务器中的FC适配器必须支持目标模式 ，并且如果正在使用NPIV，则它们必须是支持NPIV的8 GBps适配器。 本文介绍的方案2需要NPIV支持。
• 如果正在使用虚拟I / O服务器，则VIOS代码应该是IOS 2.2的最新Service Pack。 本文中的方案2是必需的。
• 如果正在使用NPIV，则光纤交换机必须启用NPIV支持，并且处于受支持的固件级别。 这是本文中介绍的方案2所必需的。
• 必须为两个AIX系统分配一个逻辑单元号（LUN），以用作CAA存储库磁盘。
• 必须为两个AIX系统分配一个LUN，以用作集群的共享存储。

方案1：使用物理I / O的两个节点

在这种情况下，我们有一个非常简单的环境，其中有两个基于POWER处理器的系统，每个系统都有一个AIX实例。 这些系统位于PowerHA集群中，并通过冗余SAN结构连接到共享存储。

下图从总体上概述了这种情况。

图1.场景1的概述

SAN分区要求

在创建群集之前，需要进行SAN分区。 您需要配置以下两种类型的区域。

• 储存区
• 心跳区

要配置分区，请首先登录每个节点，验证FC适配器是否可用，然后捕获每个适配器端口的全球端口号（WWPN），如以下示例所示。

root@ha71_node1:/home/root# lsdev -Cc adapter |grep fcs
fcs0   Available 02-T1 8Gb PCI Express Dual Port FC Adapter
fcs1   Available 03-T1 8Gb PCI Express Dual Port FC Adapter
fcs2   Available 02-T1 8Gb PCI Express Dual Port FC Adapter
fcs3   Available 03-T1 8Gb PCI Express Dual Port FC Adapter
root@ha71_node1:/home/root# for i in `lsdev -Cc adapter |awk '{print $1}' 
|grep fcs `; do print ${i} - $(lscfg -vl $i |grep Network |awk '{print $2}' 
|cut -c21-50| sed 's/../&:/g;s/:$//'); done                                            
fcs0 - 10:00:00:00:C9:CC:49:44
fcs1 - 10:00:00:00:C9:CC:49:45
fcs2 - 10:00:00:00:C9:C8:85:CC
fcs3 - 10:00:00:00:C9:C8:85:CD
root@ha71_node1:/home/root#

root@ha71_node2:/home/root# lsdev -Cc adapter |grep fcs
fcs0   Available 02-T1 8Gb PCI Express Dual Port FC Adapter
fcs1   Available 03-T1 8Gb PCI Express Dual Port FC Adapter
fcs2   Available 02-T1 8Gb PCI Express Dual Port FC Adapter
fcs3   Available 03-T1 8Gb PCI Express Dual Port FC Adapter
root@ha71_node2:/home/root# for i in `lsdev -Cc adapter |awk '{print $1}' 
|grep fcs `; do print ${i} - $(lscfg -vl $i |grep Network |awk '{print $2}' 
|cut -c21-50| sed 's/../&:/g;s/:$//'); donefcs0 - 10:00:00:00:C9:A9:2E:96
fcs1 - 10:00:00:00:C9:A9:2E:97
fcs2 - 10:00:00:00:C9:CC:2A:7C
fcs3 - 10:00:00:00:C9:CC:2A:7D
root@ha71_node2:/home/root#

在知道WWPN之后，可以在光纤交换机上进行分区。 将HBA适配器分区到用于共享存储的存储控制器上的存储端口，并创建可用于心跳的区域。 下图概述了如何创建心跳区。

图2.创建心跳区概述（场景1）

确保将第一个节点上每个FC适配器的一个端口分区到第二个节点上每个FC适配器的另一个端口。

AIX中的设备配置

分区完成后，下一步是在AIX中的每个适配器设备上启用目标模式 。 这需要在已用于心跳区域的每个适配器上执行。 在SAN分区示例中，每个节点上的适配器fcs0和fcs2已用于SAN心跳区域。

要启用目标模式 ，必须在fscsi设备上同时启用dyntrk （动态跟踪）和fast_fail ，并且需要在fcs设备上启用目标模式 。

要启用目标模式 ，请在要分区的两个节点上执行以下步骤。

root@ha71_node1:/home/root# rmdev –l fcs0 –R
fscsi0 Defined
fcs0 Defined
root@ha71_node1:/home/root# rmdev –l fcs2 –R
fscsi2 Defined
fcs2 Defined
root@ha71_node1:/home/root# chdev –l fscsi0 –a dyntrk=yes -a fc_err_recov=fast_fail
fscsi0 changed
root@ha71_node1:/home/root# chdev –l fscsi2 –a dyntrk=yes –a fc_err_recov=fast_fail
fscsi2 changed
root@ha71_node1:/home/root# chdev –l fcs0 -a tme=yes
fcs0 changed
root@ha71_node1:/home/root# chdev –l fcs2 -a tme=yes
fcs2 changed
root@ha71_node1:/home/root# cfgmgr
root@ha71_node1:/home/root#

root@ha71_node2:/home/root# rmdev –l fcs0 –R
fscsi0 Defined
fcs0 Defined
root@ha71_node2:/home/root# rmdev –l fcs2 –R
fscsi2 Defined
fcs2 Defined
root@ha71_node2:/home/root# chdev –l fscsi0 –a dyntrk=yes –a fc_err_recov=fast_fail
fscsi0 changed
root@ha71_node2:/home/root# chdev –l fscsi2 –a dyntrk=yes –a fc_err_recov=fast_fail
fscsi2 changed
root@ha71_node2:/home/root# chdev –l fcs0 -a tme=yes
fcs0 changed
root@ha71_node2:/home/root# chdev –l fcs2 -a tme=yes
fcs2 changed
root@ha71_node2:/home/root# cfgmgr
root@ha71_node2:/home/root#

如果设备繁忙，请在命令末尾使用–P选项进行更改，然后重新启动服务器。 这将导致更改在服务器的下一次启动时应用。

可以通过检查fscsi设备的属性来验证目标模式设置。 以下示例显示如何检查其中一个节点上的fscsi0和fcs0 。 应该在两个节点上的每个fcs0和fcs2适配器上都进行检查。

root@ha71_node1:/home/root# lsattr -El fscsi0
attach       switch    How this adapter is CONNECTED         False
dyntrk       yes       Dynamic Tracking of FC Devices        True
fc_err_recov fast_fail FC Fabric Event Error RECOVERY Policy True
scsi_id      0xbc0e0a  Adapter SCSI ID                       False
sw_fc_class  3         FC Class for Fabric                   True
root@ha71_node1:/home/root# lsattr -El fcs0 |grep tme
tme           yes        Target Mode Enabled                                True
root@ha71_node1:/home/root#

启用目标模式后，我们接下来应该寻找可用的sfwcomm设备。 这些设备用于PowerHA错误检测和SAN心跳。

检查这些设备在两个节点上是否均可用。

root@ha71_node1:/home/root# lsdev -C |grep sfwcomm
sfwcomm0      Available 02-T1-01-FF Fibre Channel Storage Framework Comm
sfwcomm1      Available 03-T1-01-FF Fibre Channel Storage Framework Comm
sfwcomm2      Available 02-T1-01-FF Fibre Channel Storage Framework Comm
sfwcomm3      Available 03-T1-01-FF Fibre Channel Storage Framework Comm
root@ha71_node1:/home/root#

root@ha71_node1:/home/root# lsdev -C |grep sfwcomm
sfwcomm0      Available 02-T1-01-FF Fibre Channel Storage Framework Comm
sfwcomm1      Available 03-T1-01-FF Fibre Channel Storage Framework Comm
sfwcomm2      Available 02-T1-01-FF Fibre Channel Storage Framework Comm
sfwcomm3      Available 03-T1-01-FF Fibre Channel Storage Framework Comm
root@ha71_node1:/home/root#

方案2：使用虚拟I / O服务器的两个节点

在这种情况下，使用的环境稍微复杂一些，其中有两个基于POWER处理器的系统，每个系统都具有使用VIOS的双VIOS和LPAR。 这些LPAR位于PowerHA集群中，并使用冗余SAN结构连接到共享存储。

使用VIOS时，与物理I / O方案不同的是，必须将虚拟I / O服务器的FC端口分区在一起。 然后有一个私有虚拟LAN（VLAN），其端口VLAN ID为3358（3358是唯一可以使用的VLAN ID），用于通过虚拟机管理程序从虚拟I / O服务器到客户端LPAR进行心跳通信。是我们的PowerHA节点。

在这种情况下，需要执行以下高级步骤。

1. 在VIOS FC适配器上打开目标模式 。
2. 将VIOS端口分区在一起。
3. 配置专用3358 VLAN用于心跳流量。
4. 配置PowerHA集群。

下图从总体上概述了这种情况。

图3.方案2概述

SAN分区要求

在创建群集之前，需要进行SAN分区。 您需要配置以下两种类型的区域。

• 储存区
  • 包含LPAR的虚拟WWPN
  • 包含存储控制器的WWPN
• 心跳区（包含VIOS物理WWPN）
  • 每台计算机上的VIOS应该一起分区。
  • 客户端LPAR的虚拟WWPN不应分区在一起。

执行分区时，登录到每个VIOS（每个受管系统上的两个VIOS）并验证FC适配器是否可用，并捕获WWPN信息以进行分区。 以下示例显示了如何在一个VIOS上执行此步骤。

$ lsdev -type adapter |grep fcs
fcs0   Available 02-T1 8Gb PCI Express Dual Port FC Adapter
fcs1   Available 03-T1 8Gb PCI Express Dual Port FC Adapter
fcs2   Available 02-T1 8Gb PCI Express Dual Port FC Adapter
fcs3   Available 03-T1 8Gb PCI Express Dual Port FC Adapter
$ for i in `lsdev -type adapter |awk '{print $1}' |grep fcs `; 
do print ${i} - $(lsdev -dev $i -vpd 
|grep Network |awk '{print $2}' |sed 's/Address.............//g'
| sed 's/../&:/g;s/:$//'); done
fcs0 - 10:00:00:00:C9:B7:65:32
fcs1 - 10:00:00:00:C9:B7:65:33
fcs2 - 10:00:00:00:C9:B7:63:60
fcs3 - 10:00:00:00:C9:B7:63:61

还需要从客户端LPAR中为存储区域捕获虚拟WWPN。 以下示例显示了如何在两个节点上执行此步骤。

root@ha71_node1:/home/root# lsdev -Cc adapter |grep fcs
fcs0   Available 02-T1 Virtual Fibre Channel Client Adapter
fcs1   Available 03-T1 Virtual Fibre Channel Client Adapter
fcs2   Available 02-T1 Virtual Fibre Channel Client Adapter
fcs3   Available 03-T1 Virtual Fibre Channel Client Adapter
root@ha71_node1:/home/root# for i in `lsdev -Cc adapter |awk '{print $1}' 
|grep fcs `; do print ${i} - $(lscfg -vl $i |grep Network |awk '{print $2}' 
|cut -c21-50| sed 's/../&:/g;s/:$//'); done
fcs0 – c0:50:76:04:f8:f6:00:40
fcs1 – c0:50:76:04:f8:f6:00:42
fcs2 – c0:50:76:04:f8:f6:00:44
fcs3 – c0:50:76:04:f8:f6:00:46
root@ha71_node1:/home/root#

root@ha71_node2:/home/root# lsdev -Cc adapter |grep fcs
fcs0   Available 02-T1 Virtual Fibre Channel Client Adapter
fcs1   Available 03-T1 Virtual Fibre Channel Client Adapter
fcs2   Available 02-T1 Virtual Fibre Channel Client Adapter
fcs3   Available 03-T1 Virtual Fibre Channel Client Adapter
root@ha71_node2:/home/root# for i in `lsdev -Cc adapter |awk '{print $1}' 
|grep fcs `; do print ${i} - $(lscfg -vl $i |grep Network |awk '{print $2}' 
|cut -c21-50| sed 's/../&:/g;s/:$//'); done                                            
fcs0 – C0:50:76:04:F8:F6:00:00
fcs1 – C0:50:76:04:F8:F6:00:02
fcs2 – C0:50:76:04:F8:F6:00:04
fcs3 – C0:50:76:04:F8:F6:00:06
root@ha71_node2:/home/root#

在知道WWPN之后，可以在光纤交换机上进行分区。 将LPAR的虚拟WWPN分区到用于共享存储的存储控制器上的存储端口，并创建包含VIOS物理端口的区域，这些区域将用于心跳。 下图概述了如何创建心跳区。

图4.创建心跳区概述（场景2）

虚拟I / O服务器FC适配器配置

分区完成后，下一步是在每个VIOS中的每个适配器设备上启用目标模式 。 这需要在已用于心跳区域的每个适配器上执行。 在SAN分区示例中，每个节点上的fcs0和fcs2适配器已用于SAN心跳线区域。

要启用目标模式 ，必须在fscsi设备上同时启用dyntrk （动态跟踪）和fast_fail ，并且需要在fcs设备上启用目标模式 。

要启用目标模式 ，请在每个受管系统上的两个VIOS上执行以下步骤。

$ chdev -dev fscsi0 -attr dyntrk=yes fc_err_recov=fast_fail –perm
fscsi0 changed
$ chdev -dev fcs0 -attr tme=yes –perm
fcs0 changed
$ chdev -dev fscsi2 -attr dyntrk=yes fc_err_recov=fast_fail –perm
fscsi2 changed
$ chdev -dev fcs2 -attr tme=yes –perm
fcs2 changed
$ shutdown -restart

必须重新启动每个VIOS，因此，强烈建议一次修改一个VIOS。

虚拟I / O服务器网络配置

使用VIOS时，将属于VIOS的物理FC适配器分区在一起。 这样可以在每个受管系统上的VIOS之间提供连接，但是对于客户端LPAR（HA节点）连接，必须配置专用VLAN来提供此功能。

VLAN ID必须为3358才能起作用。 下图描述了虚拟以太网设置。

图5.虚拟以太网设置

首先，登录到每个VIOS，然后向每个共享的以太网桥适配器添加一个额外的VLAN。 这提供了VIOS与3358 VLAN的连接。

下图显示了如何将此附加VLAN添加到网桥适配器。

图6.将其他VLAN添加到网桥适配器

接下来，在客户端分区上创建虚拟以太网适配器，并将端口虚拟VLAN ID设置为3358。这将提供客户端LPAR与3358 VLAN的连接。

在AIX中，运行cfgmgr命令并选择虚拟以太网适配器。

不要在该接口上放置IP地址。

图7.在客户端分区上创建虚拟以太网适配器

完成此操作后，我们可以创建我们的PowerHA集群，并且可以使用SAN心跳。

PowerHA集群配置

创建集群之前，第一步是执行以下任务：

• 编辑/ etc / environment并将/ usr / es / sbin / cluster / utilities和/ usr / es / sbin / cluster /添加到$PATH变量中。
• 填充/ etc / cluster / rhosts 。
• 填充/usr/es/sbin/cluster/netmon.cf 。

完成此操作后，可以使用smitty sysmirror或在命令行上创建集群。 在以下示例中，我创建了一个名为ha71_cluster的简单两节点集群。

root@ha71_node1:/home/root # clmgr add cluster ha71_cluster NODES="ha71_node1 ha71_node2"
Warning: to complete this configuration, a repository disk must be defined.

Cluster Name: ha71_cluster
Cluster Connection Authentication Mode: Standard
Cluster Message Authentication Mode: None
Cluster Message Encryption: None
Use Persistent Labels for Communication: No
Repository Disk: None
Cluster IP Address:
There are 2 node(s) and 1 network(s) defined

NODE ha71_node1:
        Network net_ether_01
                ha71_node1      172.16.5.251

NODE ha71_node2:
        Network net_ether_01
                ha71_node2      172.16.5.252

No resource groups defined
Initializing..
Gathering cluster information, which may take a few minutes...
Processing...

….. etc…..

Retrieving data from available cluster nodes.  This could take a few minutes.

        Start data collection on node ha71_node1
        Start data collection on node ha71_node2
        Collector on node ha71_node1 completed
        Collector on node ha71_node2 completed
        Data collection complete
        Completed 10 percent of the verification checks
        Completed 20 percent of the verification checks
        Completed 30 percent of the verification checks
        Completed 40 percent of the verification checks
        Completed 50 percent of the verification checks
        Completed 60 percent of the verification checks
        Completed 70 percent of the verification checks
        Completed 80 percent of the verification checks
        Completed 90 percent of the verification checks
        Completed 100 percent of the verification checks
IP Network Discovery completed normally

Current cluster configuration:

Discovering Volume Group Configuration

root@ha71_node1:/home/root #

创建集群定义后，下一步是检查每个节点上是否有可用磁盘，以便我们可以配置CAA存储库。

root@ha71_node1:/home/root# lsdev –Cc disk
hdisk0 Available 00-00-01 IBM MPIO FC 2107
hdisk1 Available 00-00-01 IBM MPIO FC 2107
root@ha71_node1:/home/root# lspv
hdisk0          000966fa5e41e427      rootvg          active
hdisk1          000966fa08520349      None
root@ha71_node1:/home/root#

root@ha71_node2:/home/root# lsdev –Cc disk
hdisk0 Available 00-00-01 IBM MPIO FC 2107
hdisk1 Available 00-00-01 IBM MPIO FC 2107
root@ha71_node2:/home/root# lspv
hdisk0          000966fa46c8abcb         rootvg          active
hdisk1          000966fa08520349         None
root@ha71_node2:/home/root#

从上面的示例可以明显看出， hdisk1是每个节点上的空闲磁盘。 因此，这可用于存储库。 接下来，修改集群定义以包括集群存储库磁盘。 我们在两个节点上的可用磁盘都是hdisk1。

可以使用smitty hacmp或在命令行上执行此操作。 以下示例显示如何在命令行上执行此步骤。

root@ha71_node1:/home/root # clmgr modify cluster ha71_cluster REPOSITORY=hdisk1
Cluster Name: ha71_cluster
Cluster Connection Authentication Mode: Standard
Cluster Message Authentication Mode: None
Cluster Message Encryption: None
Use Persistent Labels for Communication: No
Repository Disk: hdisk1
Cluster IP Address:
There are 2 node(s) and 1 network(s) defined

NODE ha71_node1:
        Network net_ether_01
                ha71_node1      172.16.5.251

NODE ha71_node2:
        Network net_ether_01
                ha71_node2      172.16.5.252

No resource groups defined


Current cluster configuration:

root@ha71_node1:/home/root #

下一步是验证和同步集群配置。 可以使用smitty hacmp或在命令行上执行此操作。 以下示例显示如何在命令行上同步群集拓扑和资源。

root@ha71_node1:/home/root # cldare -rt
Timer object autoclverify already exists

Verification to be performed on the following:
        Cluster Topology
        Cluster Resources

Retrieving data from available cluster nodes.  This could take a few minutes.

        Start data collection on node ha71_node1
        Start data collection on node ha71_node2
        Collector on node ha71_node2 completed
        Collector on node ha71_node1 completed
        Data collection complete

Verifying Cluster Topology...

        Completed 10 percent of the verification checks

WARNING: Multiple communication interfaces are recommended for networks that
use IP aliasing in order to prevent the communication interface from
becoming a single point of failure. There are fewer than the recommended
number of communication interfaces defined on the following node(s) for
the given network(s):

    Node:                                Network:
    ----------------------------------   ----------------------------------
    ha71_node1                           net_ether_01
    ha71_node2                           net_ether_01

        Completed 20 percent of the verification checks
        Completed 30 percent of the verification checks
Saving existing /var/hacmp/clverify/ver_mping/ver_mping.log to
 /var/hacmp/clverify/ver_mping/ver_mping.log.bak
Verifying clcomd communication, please be patient.

Verifying multicast communication with mping.


Verifying Cluster Resources...

        Completed 40 percent of the verification checks
        Completed 50 percent of the verification checks
        Completed 60 percent of the verification checks
        Completed 70 percent of the verification checks
        Completed 80 percent of the verification checks
        Completed 90 percent of the verification checks
        Completed 100 percent of the verification checks
… etc…
Committing any changes, as required, to all available nodes...
Adding any necessary PowerHA SystemMirror entries to 
/etc/inittab and /etc/rc.net for IPAT on node ha71_node1.
Adding any necessary PowerHA SystemMirror entries 
to /etc/inittab and /etc/rc.net for IPAT on node ha71_node2.

Verification has completed normally.
root@ha71_node1:/home/root #

现在已经配置了基本群集，最后一步是验证SAN心跳是否启动。

lscluster –i命令显示集群接口及其状态。 sfwcom （存储框架通信）接口是SAN心跳。

在以下示例中，我们可以从一个节点中进行检查，以确保SAN心跳启动。 好消息！

root@ha71_node1:/home/root # lscluster -i sfwcom
Network/Storage Interface Query

Cluster Name:  ha71_cluster
Cluster uuid:  7ed966a0-f28e-11e1-b39b-62d58cd52c04
Number of nodes reporting = 2
Number of nodes expected = 2
Node ha71_node1
Node uuid = 7ecf4e5e-f28e-11e1-b39b-62d58cd52c04
Number of interfaces discovered = 3

Interface number 3 sfwcom
	ifnet type = 0 ndd type = 304
	Mac address length = 0
	Mac address = 0.0.0.0.0.0
	Smoothed rrt across interface = 0
	Mean Deviation in network rrt across interface = 0
	Probe interval for interface = 100 ms
	ifnet flags for interface = 0x0
	ndd flags for interface = 0x9
	Interface state UP
root@ha71_node1:/home/root #

本文未介绍群集配置的其余步骤，例如配置共享存储，镜像池，文件集合，应用程序控制器，监视器等。

翻译自: https://www.ibm.com/developerworks/aix/library/au-aix-powerha-heartbeat/index.html