《2022年Rhcs集群部署文档 .pdf》由会员分享，可在线阅读，更多相关《2022年Rhcs集群部署文档 .pdf（18页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、 Rhcs集群部署文档（websphere+db2)一、安装环境介绍这个实例要介绍的是websphere+db2集群的构建，整个RHCS 集群共有四台服务器组成，分别由两台主机搭建web 集群，两台主机搭建db2集群，在这种集群构架下，任何一台web服务器故障，都有另一台web服务器进行服务接管，同时，任何一台db2服务器故障，也有另一台 db2服务器去接管服务，保证了整个应用系统服务的不间断运行。如下图所示：二、安装前准备工作W ebsphere 和 db2采取默认安装，这里就不再描述。Db2安装完毕后运行db2 create db exoa on /opt/ibm/db2/exoa usi
2、ng codeset gbk territory cn创建数据库操作系统：统一采用rhel5.6版本。为了方便安装RHCS 套件，在安装操作系统时，建议选择如下这些安装包：xwindows system、GNOME desktop environment。development tools、x software development、gnome software development、kde software d evelopment。地址规划如下：名师资料总结-精品资料欢迎下载-名师精心整理-第 1 页，共 18 页 -资源规划主机名Ip 地址挂载磁盘挂载目录裁决磁盘W1 10.2.4.
3、189/sdb/sdb5/opt/IBM/WebSphere/AppServer/profiles/dev/sdb7 W2 10.2.4.190/sdb/sdb5/opt/IBM/WebSphere/AppServer/profiles/dev/sdb7 Db1 10.2.4.191/sdb/sdb6/opt/ibm/db2/exoa/dev/sdb7 Db2 10.2.4.192/sdb/sdb6/opt/ibm/db2/exoa/dev/sdb7 三、安装 Luci Luci是 RHCS 基于 web的集群配置管理工具，可以从系统光盘找到对应的Luci 安装包，安装如下：rootstorg
4、ae-server#rpm-ivh luci-0.12.2-12.el5.centos.1.i386.rpm 安装完成，执行luci初始化操作：rootstorgae-server#luci_admin init Initializing the Luci server Creating the admin user Enter password:Confirm password:Please wait.The admin password has been successfully set.Generating SSL certificates.Luci server has been su
5、ccessfully initialized 输入两次密码后，就创建了一个默认登录luci的用户 admin。最后，启动luci服务即可：rootstorgae-server#/etc/init.d/luci start 服务成功启动后，就可以通过https:/ip:8084访问 luci了。主机名Ip 地址主机用途虚拟 ip Storgae-server 10.2.4.188 Iscsi存 储 端/rhcs管理端无W1 10.2.4.189 Websphere 主服务器10.2.4.193 W2 10.2.4.190 Websphere 备服务器10.2.4.193 Db1 10.2.4.1
6、91 Db2主服务器10.2.4.194 Db2 10.2.4.192 Db2备服务器10.2.4.194 名师资料总结-精品资料欢迎下载-名师精心整理-第 2 页，共 18 页 -为了能让luci访问集群其它节点，还需要在/etc/hosts增加如下内容：10.2.4.189 w1 10.2.4.190 w2 10.2.4.191 db1 10.2.4.192 db2 到这里为止，在storgae-server主机上的设置完成。四、在集群节点安装RHCS 软件包为了保证集群每个节点间可以互相通信，需要将每个节点的主机名信息加入/etc/hosts文件中，修改完成的/etc/hosts文件内容
7、如下：127.0.0.1 localhost 10.2.4.189 w1 10.2.4.190 w2 10.2.4.191 db1 10.2.4.192 db2 将此文件依次复制到集群每个节点的/etc/hosts文件中。RHCS 软件包的安装有两种方式，可以通过luci管理界面，在创建Cluster时，通过在线下载方式自动安装，也可以直接从操作系统光盘找到所需软件包进行手动安装，由于在线安装方式受网络和速度的影响，不建议采用，这里通过手动方式来安装RHCS 软件包。安装 RHCS，主要安装的组件包有cman、gfs2 和 rgmanager，当然在安装这些软件包时可能需要其它依赖的系统包，只
8、需按照提示进行安装即可，下面是一个安装清单，在集群的四个节点分别执行：#install cman rpm-ivh perl-XML-NamespaceSupport-1.09-1.2.1.noarch.rpm rpm-ivh perl-XML-SAX-0.14-8.noarch.rpm rpm-ivh perl-XML-LibXML-Common-0.13-8.2.2.i386.rpm rpm-ivh perl-XML-LibXML-1.58-6.i386.rpm rpm-ivh perl-Net-Telnet-3.03-5.noarch.rpm rpm-ivh pexpect-2.3-3.e
9、l5.noarch.rpm rpm-ivh openais-0.80.6-16.el5_5.2.i386.rpm rpm-ivh cman-2.0.115-34.el5.i386.rpm#install ricci rpm-ivh modcluster-0.12.1-2.el5.centos.i386.rpm rpm-ivh ricci-0.12.2-12.el5.centos.1.i386.rpm 名师资料总结-精品资料欢迎下载-名师精心整理-第 3 页，共 18 页 -#install gfs2 rpm-ivh gfs2-utils-0.1.62-20.el5.i386.rpm#insta
10、ll rgmanager rpm-ivh rgmanager-2.0.52-6.el5.centos.i386.rpm 五、在集群节点安装配置iSCSI 客户端安装 iSCSI 客户端是为了和iSCSI-target服务端进行通信，进而将共享磁盘导入到各个集群节点，这里以集群节点web1为例，介绍如何安装和配置iSCSI，剩余其它节点的安装和配置方式与web1节点完全相同。iSCSI 客户端的安装和配置非常简单，只需如下几个步骤即可完成：rootweb1 rhcs#rpm-ivh iscsi-initiator-utils-6.2.0.871-0.16.el5.i386.rpm rootweb
11、1 rhcs#/etc/init.d/iscsi restart rootweb1 rhcs#iscsiadm-m discovery-t sendtargets-p 192.168.12.246 rootweb1 rhcs#/etc/init.d/iscsi restart rootweb1 rhcs#fdisk-l Disk/dev/sdb:10.7 GB,10737418240 bytes 64 heads,32 sectors/track,10240 cylinders Units=cylinders of 2048*512=1048576 bytes Disk/dev/sdb doe
12、snt contain a valid partition table 通过 fdisk的输出可知，/dev/sdb就是从 iSCSI-target共享过来的磁盘分区。至此，安装工作全部结束。六、配置RHCS 高可用集群配置 RHCS，其核心就是配置/etc/cluster/cluster.conf文件，下面通过 web管理界面介绍如何构造一个cluster.conf文件。在storgae-server主 机 上 启 动luci服 务，然后 通过浏 览 器访问https:/10.2.4.188:8084/，就可以打开luci登录界面，如图1所示：名师资料总结-精品资料欢迎下载-名师精心整理-第
13、 4 页，共 18 页 -图1 成功登录后，luci有三个配置选项，分别是 homebase、cluster和 storage，其中，cluster主要用于创建和配置集群系统，storage用于创建和管理共享存储，而homebase 主要用于添加、更新、删除cluster系统和 storage设置，同时也可以创建和删除luci登录用户。如图 2所示：图2 名师资料总结-精品资料欢迎下载-名师精心整理-第 5 页，共 18 页 -1、创建一个cluster 登录 luci后，切换到cluster选项，然后点击左边的clusters选框中的“Create a new cluster”，增加一个cl
14、uster，如图 3所示：图3 在图 3中，创建的 cluster名称为 mycluster，“Node Hostname”表示每个节点的主机名称，“Root Password”表示每个节点的root用户密码。每个节点的root密码可以相同，也可以不同。在下面的五个选项中，“Download packages”表示在线下载并自动安装RHCS软件包，而“Use locally installed packages”表示用本地安装包进行安装，由于RHCS 组件包在上面的介绍中已经手动安装完成，所以这里选择本地安装即可。剩下的三个复选框分别是启用共享存储支持（Enable Shared Storag
15、e Support）、节点加入集群时重启系统（Reboot nodes before joining cluster）和 检查 节点密 码的 一致 性（Check if node passwords are identical），这些创建cluster的设置，可选可不选，这里不做任何选择。“View SSL cert fingerprints”用于验证集群各个节点与luci通信是否正常，并检测每个节点的配置是否可以创建集群，如果检测失败，会给出相应的错误提示信息。如果验证成功，会输出成功信息。名师资料总结-精品资料欢迎下载-名师精心整理-第 6 页，共 18 页 -所有选项填写完成，点击“Su
16、bmit”进行提交，接下来 luci开始创建 cluster，如图 4所示：图4 在 经 过Install-Reboot-Configure-Join四 个 过 程 后，如 果 没 有 报 错，“mycluster”就创建完成了，其实创建cluster的过程，就是 luci将设定的集群信息写入到每个集群节点配置文件的过程。Cluster创建成功后，默认显示“mycluster”的集群全局属性列表，点击cluster-Cluster list来查看创建的mycluster的状态，如图 5所示：名师资料总结-精品资料欢迎下载-名师精心整理-第 7 页，共 18 页 -图5 从图 5可知，myclu
17、ster集群下有四个节点，正常状态下，节点Nodes 名称和 Cluster Name均显示为绿色，如果出现异常，将显示为红色。点击 Nodes 下面的任意一个节点名称，可以查看此节点的运行状态，如图6所示：名师资料总结-精品资料欢迎下载-名师精心整理-第 8 页，共 18 页 -图6 从图 6可以看出，cman和 rgmanager 服务运行在每个节点上，并且这两个服务需要开机自动启动，它们是RHCS 的核心守护进程，如果这两个服务在某个节点没有启动，可以通过命令行方式手工启动，命令如下：/etc/init.d/cman start/etc/init.d/rgmanager start 服务
18、启动成功后，在图6中点击“Update node daemon properties”按钮，更新节点的状态。通过上面的操作，一个简单的cluster就创建完成了，但是这个 cluster目前还是不能工作的，还需要为这个cluster创建 Failover Domain、Resources、Service、Shared Fence Device等，下面依次进行介绍。2、创建 Failover Domain Failover Domain 是配置集群的失败转移域，通过失败转移域可以将服务和资源的切换限制在指定的节点间，下面的操作将创建两个失败转移域，分别是webserver-failover和my
19、sql-failover。点击 cluster，然后在Cluster list中点击“mycluster”，接着，在左下端的mycluster栏中点击Failover Domains-Add a Failover Domain，增加一个Failover Domain，如图7所示：名师资料总结-精品资料欢迎下载-名师精心整理-第 9 页，共 18 页 -图7 在图 7中，各个参数的含义如下：Failover domain name：创建的失败转移域名称，起一个易记的名字即可。Failover domain 中启用域成员优先级设置，这里选择启用。故障切换限制。这里选择启用。就是说，主节点故障时，备
20、用节点会自动接管主节点服务和资源，当主节点恢复正常时，集群的服务和资源会从备用节点自动切换到主节点。然后，在Failover domain membership 的 Member复选框中，选择加入此域的节点，这里选择的是web1和 web2节点，然后，在“priority”处将web1的优先级设置为1，web2的优先级设置为 10。需要说明的是“priority”设置为1的节点，优先级是最高的，随着数值的降低，节点优先级也依次降低。所有设置完成，点击Submit 按钮，开始创建Failover domain。按照上面的介绍，继续添加第二个失败转移域db-failover，在 Failover
21、domain membership的 Member复选框中，选择加入此域的节点，这里选择db1和 db2节点，然后，在“priority”处将 db1的优先级设置为2，db2的优先级设置为8。3、创建 Resources Resources 是集群的核心，主要包含服务脚本、IP 地址、文件系统等，RHCS提供的资源如图8所示：名师资料总结-精品资料欢迎下载-名师精心整理-第 10 页，共 18 页 -图8 依次添加IP 资源、http服务资源、db 管理脚本资源、ext3 文件系统，如图9所示：图9 4、创建 Service 名师资料总结-精品资料欢迎下载-名师精心整理-第 11 页，共 18
22、 页 -点击 cluster，然后在Cluster list中点击“mycluster”，接着，在左下端的mycluster栏中点击Services-Add a Service，在集群中添加一个服务，如图10所示：图10 所有服务添加完成后，如果应用程序设置正确，服务将自动启动，点击cluster，然后在Cluster list中可以看到两个服务的启动状态，正常情况下，均显示为绿色。如图11所示：名师资料总结-精品资料欢迎下载-名师精心整理-第 12 页，共 18 页 -图11 七、配置表决磁盘（1）使用表决磁盘的必要性在一个多节点的RHCS集群系统中，一个节点失败后，集群的服务和资源可以自动
23、转移到其它节点上，但是这种转移是有条件的，例如，在一个四节点的集群中，一旦有两个节点发生故障，整个集群系统将会挂起，集群服务也随即停止，而如果配置了存储集群GFS文件系统，那么只要有一个节点发生故障，所有节点挂载的GFS文件系统将hung 住。此时共享存储将无法使用，这种情况的出现，对于高可用的集群系统来说是绝对不允许的，解决这种问题就要通过表决磁盘来实现了。（2）表决磁盘运行机制表决磁盘，即Quorum Disk，在 RHCS 里简称 qdisk，是基于磁盘的Cluster仲裁服务程序，为了解决小规模集群中投票问题，RHCS 引入了 Quorum机制机制，Quorum表示集群法定的节点数，和
24、 Quorum对应的是Quorate，Quorate 是一种状态，表示达到法定节点数。在正常状态下，Quorum的值是每个节点投票值再加上 QDisk 分区的投票值之和。QDisk 是一个小于 10MB 的共享磁盘分区，Qdiskd 进程运行在集群的所有节点上，通过 Qdiskd进程，集群节点定期评估自身的健康情况，并且把自身的状态信息写到指定的共享磁盘分区中，同时Qdiskd 还可以查看其它节点的状态信息，并传递信息给其它节点。（3）RHCS 中表决磁盘的概念和 qdisk相关的几个工具有mkdisk、Heuristics。mkdisk是一个集群仲裁磁盘工具集，可以用来创建一个qdisk 共
25、享磁盘也可以查看共享磁盘的状态信息。mkqdisk 操作只能创建 16个节点的投票空间，因此目前qdisk 最多可以支持16个节点的RHCS 高可用集群。有时候仅靠检测Qdisk 分区来判断节点状态还是不够的，还可以通过应用程序来扩展对节名师资料总结-精品资料欢迎下载-名师精心整理-第 13 页，共 18 页 -点状态检测的精度，Heuristics就是这么一个扩充选项，它允许通过第三方应用程序来辅助定位节点状态，常用的有ping 网关或路由，或者通过脚本程序等，如果试探失败，qdiskd会认为此节点失败，进而试图重启此节点，以使节点进入正常状态。（4）创建一个表决磁盘在上面章节中，已经划分了
26、多个共享磁盘分区，这里将共享磁盘分区/dev/sdb7 作为 qdisk分区，下面是创建一个qdisk 分区：rootweb1#mkqdisk-c/dev/sdb7-l myqdisk rootweb1#mkqdisk L#查看表决磁盘信息（5）配置 Qdisk 这里通过Conga的 web界面来配置Qdisk，首先登录 luci，然后点击cluster，在 Cluster list中点击“mycluster”，然后选择“Quorum Partition”一项，如图12所示：图12 对图 12中每个选项的含义解释如下：名师资料总结-精品资料欢迎下载-名师精心整理-第 14 页，共 18 页 -
27、qdisk 分区投票值是多少。TKO：表示允许检查失败的次数。一个节点在TKO*Interval时间内如果还连接不上qdisk分区，那么就认为此节点失败，会从集群中隔离。Qdisk 分区对应的卷标名，也就是在创建qdisk时指定的“myqdisk”，这里建议用卷标名，因为设备名有可能会在系统重启后发生变化，但卷标名称是不会发生改变的。配置第三方应用程序来扩展对节点状态检测的精度，这里配置的是ping 命令ping 命令的投票值。ping 命令一次。（6）启动 Qdisk 服务在集群每个节点执行如下命令，启动qdiskd服务：rootweb1#/etc/init.d/qdiskd start q
28、diskd 启动后，如果配置正确，qdisk 磁盘将自动进入online状态：rootweb1#clustat -l Cluster Status for mycluster Sat Aug 21 01:25:40 2010 Member Status:Quorate Member Name ID Status -w2 1 Online,rgmanager db1 2 Online,rgmanager db2 3 Online,rgmanager w1 4 Online,Local,rgmanager /dev/sdb7 0 Online,Quorum Disk 至此，Qdisk 已经运行起来
29、了。八、配置Fence 设备配置 Fence 设备 是 RHCS 集群系统中必不可少的一个环节，通过 Fence 设备可以防止集群资源（例如文件系统）同时被多个节点占有，保护了共享数据的安全性和一致性节，同时也可以防止节点间脑裂的发生。GFS 是基于集群底层架构来传递锁信息的，或者说是基于RHCS 的一种集群文件系统，因此使用 GFS文件系统也必须要有fence 设备。名师资料总结-精品资料欢迎下载-名师精心整理-第 15 页，共 18 页 -RHCS提供的 fence device有两种，一种是内部fence 设备。常见的有：IBM服务器提供的RSAII 卡 HP服务器提供的iLO 卡 DE
30、LL服务器提供的DRAC 卡智能平台管理接口IPMI 常见的外部fence 设备有：UPS、SAN SWITCH、NETWORK SWITCH，另外如果共享存储是通过GNBD Server 实现的，那么还可以使用GNBD 的 fence 功能。点击 cluster，然后点击“cluster list”中的“mycluster”，在左下角的mycluster栏目中选择Shared Fence Devices-Add a Sharable Fence Device，在这里选择的Fence Device 为“virtual machine fencing”，Fence 的名称为“v-Fence”，如
31、图 13所示：图13 名师资料总结-精品资料欢迎下载-名师精心整理-第 16 页，共 18 页 -点击“add a fence device to this level”为各个节点添加fence 设备由于 wasphere 启动需要设别主机名称，在配置集群时必须把主机名及单元修改成虚拟ip 操作如下：为使切换后能顺利启动was 服务，必须修改安装was 时所建立 cell 概要（包括一个部署管理器和受管server）的 hostname，将其值设为虚拟IP 10.1.0.13。在此，可专门建立一账户用于启动或停止WAS 服务。环境中建立了was 账户，并将挂载点的所有权授予该账户。#chown
32、 R was/opt/IBM/was 切换到 was 用户#su-was*指定 WAS_HOME 环境变量export WAS_HOME=/opt/IBM/was/WebSphere/AppServer*启动wsadmin，但是不要连接到WebSphere 进程$WAS_HOME/bin/wsadmin.sh-conntype NONE-lang jython*执行修改主机名的交互脚本wsadmin AdminTask.changeHostName(-interactive)changeHostName*(nodeName):oaappCellManager01*(hostName)：10.1
33、.0.13*(systemName)：oaapp 名师资料总结-精品资料欢迎下载-名师精心整理-第 17 页，共 18 页 -*输入 F 表示脚本编辑完毕，显示编辑组成的脚本changeHostName F(Finish)C(Cancel)Select F,C:F F WASX7278I:Generated command line:AdminTask.changeHostName(-nodeName oaappCellManager01-hostName 10.1.0.13-systemName oaapp)*保存修改操作wsadminAdminConfig.save()*退出 was 脚本命令行wsadminexit 创建完成数据库后创建编目db2 catalog database exoa on/opt/ibm/db2/exoa 修改各个节点的db2nodes.cfg 文件与 hostname 一致vim/home/db2inst1/sqllib/db2nodes.cfg 关闭集群名师资料总结-精品资料欢迎下载-名师精心整理-第 18 页，共 18 页 -