AIX 系统上 gpfs 集群搭建过程（3.4.0.15）和一些关注点

     目前各企业IT建设都存在着一种普遍现象，那就是应用架构频繁的调整。出现这种现象的主要原因大致可以分为3点：

     1.不合适的架构
     2.不合适的供应商
     3.不合适的运维人员

     这3点从上到下每一点都不可或缺，那个环节出了问题也会导致大量而重复且无意义的工作，做一个ITer我们只有尽力做好自己那一部分才可能使得这个IT环节更加的稳固而持久。。。


     近期在做GPFS集群环境的搭建，现把大致过程记录如下：

架构：

     2 NSD Server


操作步骤：

1.zone划分，安装gpfs软件打补丁
2./etc/hosts 文件配置准备
  192.168.5.73    gpfsnode1
  192.168.5.74    gpfsnode2

3./.rhost 文件配置
  gpfsnode1 root
  gpfsnode2 root

4.root用户属性修改

修改root用户的rlogin=true，成功修改后使用rsh 验证。
修改/etc/profile,添加：
export PATH=$PATH:/usr/lpp/mmfs/bin

5.创建节点配置文件  touch /etc/gpfsnode_profile
  gpfsnode1:quorum-manager
  gpfsnode2:quorum-manager

6.创建集群
  mmcrcluster -C gpfscluster -U powerlvm.com -N /etc/gpfsnode_profile -p gpfsnode1 -s gpfsnode2

7.接受license
  mmchlicense server --accept -N gpfsnode1,gpfsnode2

8.启动集群mmstartup -a

9.硬盘识别cfgmgr

10.创建GPFS DISK 磁盘配置文件/etc/gpfsdisk_profile
hdisk2:gpfsnode1,gpfsnode2::dataAndMetadata::datansd01
hdisk3:gpfsnode2,gpfsnode1::dataAndMetadata::datansd02
hdisk4:gpfsnode1,gpfsnode2::dataAndMetadata::datansd03
hdisk5:gpfsnode2,gpfsnode1::dataAndMetadata::datansd04
hdisk6:gpfsnode1,gpfsnode2::dataAndMetadata::tiebreak_disk

11.创建NSD 盘
mmcrnsd -F /etc/gpfsdisk_profile
mmcrnsd: Processing disk hdisk2
mmcrnsd: Processing disk hdisk3
mmcrnsd: Processing disk hdisk4
mmcrnsd: Processing disk hdisk5
mmcrnsd: Processing disk hdisk6
mmcrnsd: Propagating the cluster configuration data to all
  affected nodes.  This is an asynchronous process.

12.创建文件系统 
mmcrfs gpfssharelv "datansd01;datansd02;datansd03;datansd04" -T /ods/gpfs -B 1M
The following disks of gpfssharelv will be formatted on node gpfsnod1:
    datansd01: size 314572800 KB
    datansd02: size 314572800 KB
    datansd03: size 314572800 KB
    datansd04: size 314572800 KB
Formatting file system ...
Disks up to size 4.5 TB can be added to storage pool 'system'.
Creating Inode File
Creating Allocation Maps
Creating Log Files
Clearing Inode Allocation Map
Clearing Block Allocation Map
Formatting Allocation Map for storage pool 'system'
Completed creation of file system /dev/gpfssharelv.
mmcrfs: Propagating the cluster configuration data to all
  affected nodes.  This is an asynchronous process.


14.挂载文件系统#mmmount gpfssharelv -a   验证

15.添加仲裁盘 #mmchconfig tiebreakerDisks=tiebreak_disk

16.启动文件系统，关机进行集群稳定测试


大致操作过程操作如上面描述，但是需要修改一些参数和设置，以使我们的集群系统稳定而高效的运行

1.添加仲裁盘
 
  gpfs 集群目前支持最多3个仲裁盘

2.设置maxFilesToCache 以增加缓存能力
3.设置pagepool 
  pagepool 设置参考：内存大于《4G  pagepool设置成1024m
                     4G《内存《32G pagepool设置成2048m
                     内存》32G     pagepool根据具体需要设置
4.设置文件系统块大小
  对于存储大量小文件的情况   可以设置blocksize为64K
  对于使用普通文件           可以设置1M
.....