HA-Lustre-MDS安装配置

一、Lustre应用场景：

MDS的IP地址为192.168.187.200，需要将数据存储到iscsi共享盘的第一个分区(sdb1)上。

1、硬件配置：

MDS_MASTER：eth0:192.168.187.131

          eth1:10.0.0.1

MDS_SLAVE： eth0:192.168.187.132

          eth1:10.0.0.2

其中eth1网卡用于心跳功能；

2、网络拓朴图：

 

二、软件安装：

1、tar -zxvf libnet.tar.gz

cd libnet

./configure

make

make install

2、 heartbeat-2.0.2.tar.gz

tar -zxvf heartbeat-2.0.2.tar.gz

cd heartbeat-2.0.2

./ConfigureMe configure

make

useradd hacluster

groupadd haclient

gpasswd –a hacluster haclient

make install

二、Heartbeat配置：

1、/etc/ha.d/ha.cf

# Suggested fields - logging

debugfile /var/log/ha-debug

logfile /var/log/ha-log

logfacility local0

# Required fields - Timing

keepalive 2

deadtime 10

initdead 120

# If using serial Heartbeat

#baud 19200

#serial /dev/ttyS0

# For Ethernet broadcast

udpport 1694

bcast eth1

# Use manual failback

auto_failback off

# Cluster members - name must match `hostname`

node MDS_MASTER

node MDS_SLAVE

# remote health ping

ping 192.168.187.1

respawn hacluster /usr/lib/heartbeat/ipfail

 

#crm yes

#apiauth cibmon uid=hacluster

#irespawn hacluster /usr/lib/heartbeat/cibmon -d

#respawn hacluster /usr/lib/heartbeat/ccm

2、/etc/ha.d/haresources

当切换资源时应该切换哪些资源，例如IP、磁盘……等。在heartbeat中，通过/etc/ha.d/haresources文件来配置共享的资源，在我们的案例中，/etc/ha.d/haresources文件的主要内容如下：

MDS_MASTER 192.168.187.200 Filesystem::/dev/sdb1::/mnt/johnlya/mdt::luster

#设置HAMaster为主节点，集群服务器的ip地址为192.168.187.200

3、/etc/ha.d/authkeys

/etc/ha.d/authkeys文件的内容如下:
auth 1
1 sha1 key-for-sha1-any-text-you-want

更改文件的权限：
chmod 600 /etc/ha.d/authkeys

4、使用同样的方法配置HASlave

5、Lustre配置启动流程

[MDS_MASTER]# mkfs.lustre --fsname=johnlya --mdt --mgs --reformat --failnode=MDS_SLAVE /dev/sda1

[MDS_MASTER]# mount -t lustre /dev/sda1 /mnt/johnlya/mdt

 

[OSS_MASTER]# mkfs.lustre --fsname=johnlya --ost --reformat --mgsnode=MDS_SLAVE@tcp0 --mgsnode=MDS_MASTER@tcp0 --failnode=OSS_SLAVE /dev/sdb1

[OSS_MASTER]# mount -t lustre /dev/sdb1 /mnt/johnlya/ost

 

[CLIENT]# mount -t lustre MDS_SLAVE@tcp0:MDS_MASTER@tcp0:/johnlya /mnt/johnlya/client/

 

6、测试

MDS_MASTER：

service heartbeat restart

如果不出现错误，mount服务应该被heartbeat启动，同时heartbeat为主节点设置IP地址192.168.187.200。使用ifconfig eth0:0可以看到IP地址为192.168.187.200。 10秒后能看到/mnt/johnlya/mdt挂载成功。

MDS_SLAVE：

service heartbeat restart

       直接关闭节点MDS_MASRTER(模拟故障)。 10秒后，在节点HASlave 上执行ifconfig eth0:0，可以看到eth0:0已经被设置为192.168.187.200 ，能看到/mnt/johnlya/mdt挂载成功。

三、ISCSI安装与配置：

    1、iscsitarget-0.4.16.tar.gz

2、iscsi-initiator-utils-4.0.3.0-2.i386.rpm

3、target：

        tar -xzvf iscsitarget-0.4.15.tar.gz

        make;makeinstall

        vi /etc/ietd.conf

        Target iqn.2001-04.com.example:storage.disk2.sys1.idisk

        Lun 4 Path=/dev/sdb1,Type=fileio

        Alias sdb

        iSNSServer 192.168.1.131

        iSNSAccessControl No

  client:

        rpm –ivh iscsi-initiator-utils-4.0.3.0-2.i386.rpm

        vi /etc/iscsi.conf

        DiscoveryAddress=192.168.1.131

        SendAsyncText=yes

        Continuous=yes

        service iscsi start

        iscsi-ls

四、注意事项：

1、安装时用虚拟机拷贝另一份需要注意将其中一个删除（/var/lib/heartbeat/hb_uuid）；

2、安装时最好不要将配置文件从Window下拷贝至Linux下；

3、需要注意用户权限问题；

4、最重要一点是查看/var/log/ha-debug文件

5、保证权限：

chown hacluster:haclient /usr/lib/ocf/resource.d/heartbeat -R

chown hacluster:haclient /etc/ha.d/resource.d/heartbeat -R

chown hacluster:haclient /var/lib/heartbeat -R

chown hacluster:haclient /var/run/heartbeat.pid -R

chown hacluster:haclient /var/run/heartbeat –R

       6、用客户端测试时，在另一台备用机器启动后，客户端会出现大约几分钟不能访问的情况，这是属于正常情况，是Lustre在启动备份机器并分配网络资源