Linux下MFS(MOOSEFS)分布式文件系统配置文档

MFS文件系统的组成

1、 元数据服务器。在整个体系中负责管理管理文件系统，目前MFS只支持一个元数据服务器master，这是一个单点故障，需要一个性能稳定的服务器来充当。希望今后MFS能支持多个master服务器，进一步提高系统的可靠性。
2、 元数据日志服务器。备份master服务器的变化日志文件，文件类型为changelog_ml.*.。当元数据服务器数据丢失或者损毁，可从日志服务器取得文件进行恢复。
3、 数据存储服务器chunkserver。真正存储用户数据的服务器。存储文件时，首先把文件分成块，然后这些块在数据服务器chunkserver之间复制（复制份数可以手工指定，建议设置副本数为3）。数据服务器可以是多个，并且数量越多，可使用的“磁盘空间”越大，可靠性也越高。
4、 客户端。使用MFS文件系统来存储和访问的主机称为MFS的客户端，成功挂接MFS文件系统以后，就可以像以前使用NFS一样共享这个虚拟性的存储了。

—————————————————————————————————————————————————————-

原理：MFS_CLIENT挂载——>MFS_MASTER分发——>MFS_CHUNKSERVER
                                                     |
                                                     V
                                            MFS_CHUNKSERVER
*数据由MFS_CLIENT的mount目录创建，并交给MFS_MASTER，此时MFS_MASTER只保留数据日志，并把所有真实数据分发给各个MFS_CHUNKSERVER各一份，如日后某个MFS_CHUNKSERVER发生故障，其他MFS_CHUNKSERVER仍可提供服务，如考虑MFS_MASTER的高可用性，可添加metalogger用作备份日志

—————————————————————————————————————————————————————-

配置环境：

mfs_master:192.168.17.1
mfs_chunk:192.168.17.2
mfs_client:192.168.17.3

在/etc/hosts分别加入 ”192.168.17.1  mfsmaster”

—————————————————————————————————————————————————————-

1.1安装MooseFS Master

wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.11/mfs-1.6.11.tar.gz
tar zxvf mfs-1.6.11.tar.gz
cd mfs-1.6.11
useradd -s /sbin/nologin mfs
./configure –prefix=/opt/mfs –with-default-user=mfs –with-default-group=mfs && make && make install
cd /opt/mfs/etc

主配置文件
cp mfsmaster.cfg.dist mfsmaster.cfg

权限控制文件
cp mf***ports.cfg.dist mf***ports.cfg
cd ../var/mfs
cp metadata.mfs.empty metadata.mfs

修改主配置文件
vim mf***ports.cfg

192.168.17.0/24 . rw
192.168.17.0/24 / rw

注：表示此网段所有主机可读写
1.2相关命令

启动MooseFS Master
/opt/mfs/sbin/mfsmaster start
ps axu |grep mfs
tail -f /var/log/messages

停止Master服务
/opt/mfs/sbin/mfsmaster -s

启动和停止Web GUI
启动： /opt/mfs/sbin/mfscgiserv
停止： kill /usr/local/mfs/sbin/mfscgiserv

—————————————————————————————————————————————————————-

2.1安装Chunk Server

wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.11/mfs-1.6.11.tar.gz
tar zxvf mfs-1.6.11.tar.gz
cd mfs-1.6.11
useradd -s /sbin/nologin mfs
./configure –prefix=/opt/mfs –with-default-user=mfs –with-default-group=mfs && make && make install
cd /opt/mfs/etc/
cp mfschunkserver.cfg.dist mfschunkserver.cfg
cp mfshdd.cfg.dist mfshdd.cfg

用于客户端挂接MooseFS 分布式文件系统根分区所使用的共享空间位置，可在mfshdd.cfg配置文件中修改
mkdir -p /mnt/hd1
mkdir -p /mnt/hd2
mkdir -p /mnt/hd3
mkdir -p /mnt/hd4
chown -R mfs:mfs /mnt/hd1
chown -R mfs:mfs /mnt/hd2
chown -R mfs:mfs /mnt/hd3
chown -R mfs:mfs /mnt/hd4
2.2相关命令

启动Chunk Server
/opt/mfs/sbin/mfschunkserver start
ps axu |grep mfs
tail -f /var/log/messages

停止Chunk Server
/opt/mfs/sbin/mfschunkserver stop

—————————————————————————————————————————————————————-

3.1安装MooseFS Client

yum -y install fuse.x86_64 fuse-devel.x86_64 fuse-libs.x86_64
modprobe fuse

wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.11/mfs-1.6.11.tar.gz
tar zxvf mfs-1.6.11.tar.gz
cd mfs-1.6.11
useradd -s /sbin/nologin mfs
./configure –prefix=/opt/mfs –with-default-user=mfs –with-default-group=mfs –enable-mfsmount && make && make install
3.2挂载文件系统

mkdir -p /mnt/mfs
/opt/mfs/bin/mfsmount /mnt/mfs/ -H 192.168.17.1
注释：挂载mfsmaster-ip
mkdir /mnt/mfsmeta
/opt/mfs/bin/mfsmount -m /mnt/mfsmeta/ -H 192.168.17.1