Linux Cluster

转

RedHat下建立群集

注明：本安装步骤不是Dell的标准文档，不能直接发给客户，仅供学习参考。 

环境说明：
1． 硬件：

说明：按照标准至少需要4块网卡和其他相应硬件，但因为条件限制，故在硬件和设置上做了一些变通。

服务器：PE4300、PE4600
网卡：两个
RAID：两块PERC2/SC
Storage:PV220S和SCSI cable

2． 软件：
OS：RedHat Advance Server 2.1
Kernel: 2.4.9-e.3smp

配制分配：
IP: node1: 10.0.0.1/8 
node2: 10.0.0.2/8
Cluster IP: 10.0.0.3 这个地址不同于Microsoft下的Cluster server IP address，该地址是用于管理上用的。


基本步骤：

一、安装OS

说明：为了安装可以顺利进行，建议先移掉RAID卡，否则在拷贝完文件后系统不能正常启动。因为，当使用插卡（RAID/SCSI）连接外置磁盘柜，它们将总是优先于本地硬盘被检测，这个将导致本地的盘符被改变。

按照通常的步骤安装OS，在系统安装完后，将RAID或SCSI卡插回主机，在下次重启时系统将自动发现新设备。但为了保证在每次系统引导时该设备能自动启动，你仍需做以下两步：

a. 编辑 /etc/modules.conf文件，同时增加下面内容到文件内容中

alias scsi_hostadapter megaraid 
options scsi_mod max_scsi_luns=255 à可提前增加这一行，因为有共享磁盘柜存
在，并且有多个LUN在上面时，系统要求这样做。



b. 执行

Mkinitrd initrd-2.4.9-e.3smp.img 2.4.9-e.3smp à这行的内容主要还是由内核来决定。

例：
/etc/modules.conf:

alias scsi_hostadapter megaraid

options scsi_mod max_scsi_luns=255


二、物理连接

这部份的步骤与W2K一样，即先用一个节点配制LUN，另一个节点从磁盘读LUN配制，同时保证2块RAID卡的Cluster功能开启，SCSI ID 不能冲突，同时将PV220S的开关拨动到Cluster模式。

三、安装和配制分区

1．建立分驱
说明：建议在此时只开一个节点。在系统启动后，系统可以识别在磁盘柜上新建的LUN。设备名通常是在本地硬盘后顺序编排。例如：当本地是/dev/sda，那么新的设备是/dev/sdb

分区的原则和要求：Quorum分区的要求：不能小于10M，必须是裸设备，不能有文件系统。
Quorum分区只能用于Cluster的状态和配制信息。
Quorum要求两个分区，一个为primary,另一个为slave
Cluster 应用服务的分区：要求一个cluster服务一个分区。例如：你想有SQL、NFS、SAMBA三个Cluster应用服务，那么你必须为三个服务各建一个分区。

例：fdisk /dev/sdb 创建新的分区

/dev/sdb1 àQuorum primary partition
/dev/sdb2 àQuorum slave partition
/dev/sdb3 àSql partition
/dev/sdb4 àNFS partition
/dev/sdb5 àsamba partition

注意：在创建完分驱后，一定要重启主机，建议重启所有设备。

2．建立文件系统――即格式化分区

说明：Quorum 必须是裸设备,所以不需要格式化。但其他分区必须格式化，同时将默认的Block块大小增大到4096，默认为1024。


例：
mkfs –t ext2 –j –b 4096 /dev/sdbx –-》X代表分区

3．为Cluster 创建Quorum分区
说明：使用命令 cat /proc/devices 确认系统是否支持裸设备，如果你看到下面的输出，说明系统可以支持裸设备。

162 raw

在两台服务器上分别编辑/etc/sysconfig/rawdevices文件，以便将分区绑定到裸设备。

例: /etc/sysconfig/rawdevices
# format: 
# 
# example: /dev/raw/raw1 /dev/sda1
# /dev/raw/raw2 8 5
/dev/raw/raw1 /dev/sdb1
/dev/raw/raw2 /dev/sdb2

重启服务 service rawdevices restart


4．检查和验证Quoram分区

在两个节点上分别cludiskutil –p 确保两个节点都能有以下输出：

----- Shared State Header ------
Magic# = 0x39119fcd
Version = 1
Updated on Thu Sep 14 05:43:18 2000
Updated by node 0




四、建立Cluster服务

说明：确保所有网卡正常工作。同时，设置基本的网络要求。

1．编辑/etc/hosts 文件

127.0.0.1 localhost.localdomain localhost
10.0.0.1 node1.test.com node1
10.0.0.2 node2.test.com node2
10.0.0.3 Clusteralias.test.com Clusteralias

2．运行/sbin/cluconfig 

说明：系统将自动生成cluster的配制文件/etc/cluster.conf，这一步只需要在其中一个节点上运行。

你将看到以下输出：

Enter cluster name [Cluster]:Cluster
Enter IP address for cluster alias [x.x.x.x]: 10.0.0.3
--------------------------------
Information for Cluster Member 0
--------------------------------
Enter name of cluster member [storage0]: node1
Looking for host storage0 (may take a few seconds)...
Enter number of heartbeat channels (minimum = 1) [1]: 1
Information about Channel 0
Channel type: net or serial [net]:
Enter hostname of the cluster member on heartbeat channel 0 \
[node1]: node1
Looking for host node1 (may take a few seconds)...
Information about Quorum Partitions
Enter Primary Quorum Partition [/dev/raw/raw1]: /dev/raw/raw1
Enter Shadow Quorum Partition [/dev/raw/raw2]: /dev/raw/raw2
Information About the Power Switch That Power Cycles Member ’storage0’
Choose one of the following power switches:
o NONE
o RPS10
o BAYTECH
o APCSERIAL
o APCMASTER
o WTI_NPS
Power switch [NONE]: NONE

Information for Cluster Member 1
--------------------------------
Enter name of cluster member [node2]: node2
Looking for host storage1 (may take a few seconds)...
Information about Channel 0
Enter hostname of the cluster member on heartbeat channel 0 \
[node2]: node2
Looking for host storage1 (may take a few seconds)...
Information about Quorum Partitions
Enter Primary Quorum Partition [/dev/raw/raw1]: /dev/raw/raw1
Enter Shadow Quorum Partition [/dev/raw/raw2]: /dev/raw/raw2
Information About the Power Switch That Power Cycles Member ’node2’
Choose one of the following power switches:
o NONE
o RPS10
o BAYTECH
o APCSERIAL
o APCMASTER
o WTI_NPS
Power switch [NONE]: NONE

Cluster name: Development Cluster
Cluster alias IP address: 10.0.0.154
Cluster alias netmask: 255.255.254.0
--------------------
Member 0 Information
--------------------
Name: node1
Primary quorum partition: /dev/raw/raw1
Shadow quorum partition: /dev/raw/raw2
Heartbeat channels: 1
Channel type: net, Name: node1
Power switch IP address or hostname: node1
--------------------
Member 1 Information
--------------------
Name: node2
Primary quorum partition: /dev/raw/raw1
Shadow quorum partition: /dev/raw/raw2
Heartbeat channels: 1
Channel type: net, Name: node2
Save the cluster member information? yes/no [yes]:
Writing to configuration file...done
Configuration information has been saved to /etc/cluster.conf.
----------------------------
Setting up Quorum Partitions
----------------------------
Running cludiskutil -I to initialize the quorum partitions: done
Saving configuration information to quorum partitions: done
Do you wish to allow remote monitoring of the cluster? yes/no \
[yes]: yes
----------------------------------------------------------------
Configuration on this member is complete.
To configure the next member, invoke the following command on that system:
# /sbin/cluconfig --init=/dev/raw/raw1
See the manual to complete the cluster installation

3．配制第二个节点

只需执行 cluconfig --init=/dev/raw/raw1


4．启动Cluster服务

分别在两个节点上执行 service cluster start
你将看到下面的几个Daemon
• cluquorumd — Quorum daemon
• clusvcmgrd — Service manager daemon
• clupowerd — Power daemon
• cluhbd — Heartbeat daemon
• clumibd — Administrative system monitoring daemon

五、建立Cluster应用服务

说明：本次实验只测试了Samba，其他应用服务的建立，请参考RedHat 文档。
.
1．Samba
说明：Samba在cluster的环境下与单机有一些不同，首先是配制文件的改变，不在是/etc/samba/smb.conf，而是/etc/samba/smb.conf.xxxàxxx代表你的共享名字，可以是任何字母。Samba在cluster环境下需要自己的locking目录/var/cache/samba/xxxx


2. 运行/sbin/cluadmin

说明：只需要在其中一个节点执行该命令，当你执行上面的命令你将看到以下输出：

Service name: samba　à所有黑色字体代表手工输入接受其默认值
Preferred member [None]:Node1 à这行代表Samba服务将默认在node1上运行。
Relocate when the preferred member joins the cluster (yes/no/?) [no]: yes
User script (e.g., /usr/foo/script or None) [None]:
Status check interval [0]: 10
Do you want to add an IP address to the service (yes/no/?) [no]: yes
IP Address Information
IP address: 10.0.0.10 à这行代表Samba服务运行的IP地址，即windows客户端访问输入的IP地址。
Netmask (e.g. 255.255.255.0 or None) [None]:
Broadcast (e.g. X.Y.Z.255 or None) [None]:
Do you want to (a)dd, (m)odify, (d)elete or (s)how an IP address, or
are you (f)inished adding IP addresses [f]:f
Do you want to add a disk device to the service (yes/no/?) [no]: yes
Disk Device Information
Device special file (e.g., /dev/sdb4): /dev/sdb3
Filesystem type (e.g., ext2, ext3 or None): ext3
Mount point (e.g., /usr/mnt/service1) [None]: /data à这行代表真正共享的存放地。
Mount options (e.g., rw,nosuid,sync): rw,nosuid,sync
Forced unmount support (yes/no/?) [yes]:
Would you like to allow NFS access to this filesystem (yes/no/?)\
[no]: no
Would you like to share to Windows clients (yes/no/?) [no]: yes
You will now be prompted for the Samba configuration:
Samba share name: samba –>;这行即windows客户端在网上邻居看到的名字。
The samba config file /etc/samba/smb.conf.samba does not exist.
Would you like a default config file created (yes/no/?) [no]: yes
Successfully created daemon lock directory /var/cache/samba/acct.

Please run ‘mkdir /var/cache/samba/samba‘ on the other cluster member.
Successfully created /etc/samba/smb.conf.samba.
Please remember to make necessary customizations and then copy the file
over to the other cluster member.
Do you want to (a)dd, (m)odify, (d)elete or (s)how DEVICES, or
are you (f)inished adding DEVICES [f]: f
name: samba
preferred node:node1 
relocate: yes
user script: None
monitor interval: 30
IP address 0: 10.0.0.10
netmask 0: None
broadcast 0: None
device 0: /dev/sdb12
mount point, device 0: /mnt/users/accounting
mount fstype, device 0: ext2
mount options, device 0: rw,nosuid,sync
force unmount, device 0: yes
samba share, device 0: samba
Add samba_acct service as shown? (yes/no/?) yes

3．配制第二个节点

• 拷贝 /etc/samba/smb.conf.xxx.
• mkdir /var/cache/samba/samba

4．配制windows客户端访问

在Linux端为windows用户建立帐户 useradd xxx

touch /etc/samba/smbpasswd

smbpasswd –a xxx 

5．管理和测试Cluster

a. 当Samba在node1上运行时，你可以在node2执行Cluadmin –>;service show 
service relocate xxxx
这个时候服务和IP地址都应转移到node2。

b. 假设node1是主节点,你将服务成功转移到node2后，然后重启node1，如果服务自动重新转移到nose1。恭喜你，一个基本的cluster服务完成了。


六、可能遇到的问题

问题：不能初始化Quorum分区。

在分区后应立即从启系统，以便能识别新的分区，同时确保不要建立文件系统在Quorum和HOSTS文件内容是否与主机名匹配。

问题：在建立Samba的服务时没有成功。

共享分区没有创建文件系统。

问题：移掉一块网卡后，Cluster不能启动。

因为IP地址改变，造成与quorum中不一致，更该IP地址与quorum相匹配。

问题：是否可以在PV660F 和CX400/CX600上实现。

这个还需要各位去实践，但我个人认为应该没有问题，只是在分配硬盘给Linux的步骤上有一些小的差别。

七、相关资料





八、补充

NFS 服务

在配置NFS是不需要手工建立locking目录，因为NFS文件lock不会由cluster服务来管理，它由系统文件自身来完成。

在两个节点上分别运行NFS服务
例：chkconfig nfs on
service nfs start
在其中一个节点上运行cluadmin-àservice add nfs