SFCFS常用命令

Storage Foundation Cluster File System (SFCFS)
Group Lock Manager (GLM)
sfcfs基于Veritas File System (VxFS)
SFCFS包括vcs，VxFS，VxVM
vcs包括：
Group Membership and Atomic Broadcast (GAB)，Low Latency Transport(LLT)，VCS-specific protocols implemented directly on Ethernet data link
GAB主要提供cluster和应用节点之间的通信
配置文件/etc/gabtab，gabconfig -n指定cluster的成员数目，SFCFS安装时会自动配置GAB，如果要在cluster中添加成员时可以用gabconfig来添加，以重新配置GAB.
LLT提供内核之间的通讯和网络的监控
  配置文件：/etc/llthosts and /etc/llttab
  用来设置cluster的system id和cluster id，调整一些如心跳频率等一些网络参数
  类似于GAB，LLT在安装脚本时就自动配置完毕，如需重新配置，用llttab 和 llthosts
端口成员：
 Port               Description
 port a                heartbeat membership
 port b                I/O fencing membership
 port f                Cluster File system membership
 port h                Veritas Cluster Server communication between GAB and High Availability Daemon (HAD)
 port u                Temporarily used by CVM
 port v                Cluster Volume Manager membership
 port w                Cluster Volume Manager daemons on different nodes communicate with one another using this port,
                       but  receive cluster membership information through GAB (port v)

Veritas Volume Manager cluster functionality (CVM)
它使多个主机可以同时访问逻辑卷

asymmetric mounts 异步mount：
cluster中的vxfs用mount -o cluster，一个本地mount不能再共享模式下remounted，当然一个共享mount也不能在本地模式下remounted
一步mount可以在cluster的不同节点以不同的读写选项来mount，如节点1以读写方式mount共享的文件系统，节点2以只读方式来mount
如果主节点以ro方式mount，则第二个节点只能以ro mount，如果主节点rw" or "ro,crw，则第二个节点也可以随便
第一次时可以用cluster read-write (crw)来mount，以后修改的话用mount -o remount

Parallel I/O并行io
因要同时读写文件，需要时间同步
用fsclustadm setprimary来设置mount的主节点

用LLT配置心跳的备份，可在线做：
添加link
# lltconfig -d device -t device_tag
device_tag是链路标记，用lltstat查看

删除一个link
# lltconfig -u device_tag
这些改变即时生效，重启后失效，重启生效需修改/etc/llttab.
I/O error
由于光纤link，hba，disk
如果节点出现I/O error，将disable掉这个文件系统，但他在其他节点依然可用，当故障解决后，能强制umount和mount

Veritas Volume Manager cluster functionality (CVM)可32节点同时访问共享资源
raid 5不支持shared disk group

Disk group types
Private    如root disk group
shared     所有节点均可同时使用

共享磁盘组的磁盘均有cluster ID标记，在主机启动时会被自动导入（noautoimport属性的除外）
共享disk group的激活模式有exclusivewrite, readonly, sharedread, sharedwrite, and off (inactive，默认）

自动激活共享磁盘组
/etc/default/vxdg配置文件
enable_activation=true
default_activation_mode=activation-mode
查看共享磁盘的激活模式用vxdg list，也可用vxdg来修改激活模式
设置并行fsck线程数
cluster的所有节点的配置文件/opt/VRTSvcs/bin/CFSfsckd/CFSfsckd.env
设置FSCKD_OPTS="-n N".  N为线程数4到128

不同于本地的文件系统，共享文件系统需要用mount -o cluster来mount

primary node
cluster中的第一个节点是primary node，其他是secondary nodes，如果主节点down，internal election进程来选举出主节点
查看主节点# fsclustadm -v showprimary mount_point
设置主节点# fsclustadm -v setprimary mount_point

SFCFS命令