mfs权威指南(moosefs)分布式文件系统一站式解决方案(部署，性能测试)不断更新

#!/bin/tony
0. 欢迎加入qq群102082446 ，分布式文件系统 专业群（不求人多，只求专业） 通关密码：i love cuer!
1. 我在性能测试中间遇到些问题，因为我时间有限，所以希望大家一起来测试解决，群策群力。有什么问题请大家及时指出来，因为我也处在一个不断摸索的阶段。
2. mfs不多做介绍，具体细节请参考本版mfs实践文章 ，或者baidu,google 关键字  田逸。
3. 希望大家能提供更好的存储/文件系统的测试模型，来一起完善本文档。（热烈欢迎大家奉献测试脚本，测试用例等）。
4. 希望大家提供生产环境的实际案例，配置环境，脚本，监控机制等等。
5. 希望熟悉代码的朋友去看看mfs内部实现的机制。
6. 特别感谢田逸的文档 http://sery.blog.51cto.com/10037/263515 。
7. 特别感谢qq群战友:tt，灵犀，流云风，hzqbbc在qq群内对广大爱好者分享宝贵经验。
8. 特别感谢存储专家-《大话存储》的作者：冬瓜头 ，在我进行性能测试的时候，对我进行的指导。
9. 特别感谢qq群战友：高性能架构，CU ID: ，制作更专业更精美的pdf版本： (3.32 MB)

下载次数: 9

2010-02-26 15:53

， 大家也可以他的blog上浏览在线版本：
     
mfs优势：
-1. Free(GPL)
0. 通用文件系统，不需要修改上层应用就可以使用（那些需要专门api的dfs好麻烦哦！）。
1. 可以在线扩容，体系架构可伸缩性极强。（官方的case可以扩到70台了！）
2. 部署简单。（sa们特别高兴，领导们特别happy！）
3. 体系架构高可用，所有组件无单点故障。 （您还等什么？）
4. 文件对象高可用，可设置任意的文件冗余程度（提供比raid1+0更高的冗余级别），而绝对不会影响读或者写的性能，只会加速哦！）
5. 提供Windows回收站的功能.（不怕误操作了，提供类似oralce 的闪回等高级dbms的即时回滚特性，oralce这些特性可是收费的哦！）
6. 提供类似Java语言的 GC（垃圾回收）.
7. 提供netapp，emc，ibm等商业存储的snapshot特性。
8. google filesystem的一个c实现。（google在前面开路哦！）
9. 提供web gui监控接口。
10. 提高随机读或写的效率（有待进一步证明）。
11. 提高海量小文件的读写效率（有待进一步证明）。
可能的瓶颈：
0. master本身的性能瓶颈。（不太恰当的比方：类似mysql 主从复制，从的可以扩展，主的不容易扩展）。 （qq群战友 ： hzqbbc）
         短期对策：按业务切分
1. 体系架构存储文件总数的可遇见的上限。
       （mfs把文件系统的结构缓存到master的内存中，个人认为文件越多，master的内存消耗越大，8g对应2500kw的文件数，2亿文件就得64GB内存 ）。（qq群战友 ： hzqbbc）
         短期对策：按业务切分
2. 单点故障解决方案的健壮性。（qq群战友 ： tt  , hzqbbc）

架构图

(19.06 KB)

2010-02-11 13:53

(26.42 KB)

2010-02-11 13:53

——————————————————
index
1. mfs master
2. mfs  chunkserver
3. mfs client
4. 系统管理
5. 性能测试
6. 参考文献
6.1 测试数据
                测试模型1
                测试模型2
7. 感谢
8. 附录
9. 实际操作案例
10. 生产环境案例
11. web gui 监控
12. 官方关于1.6.x版本的介绍 (中文翻译：QQ群战友 Cuatre )
13. mfs官方英文FAQ（TC版）（提供者：QQ群战友 灵犀 ）
14. mfs master 热备方案
————————————————
环境：
master          1台
chunkserver    3台
client            1台
os：
centos5.3 x64
1 mfs master
1.1 安装mfs master
wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.11/mfs-1.6.11.tar.gz
tar zxvf mfs-1.6.11.tar.gz
cd mfs-1.6.11
useradd mfs -s /sbin/nologin
./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs
make
make install
cd /usr/local/mfs/etc/
cp mfsmaster.cfg.dist mfsmaster.cfg
cp mfsexports.cfg.dist mfsexports.cfg
vim mfsmaster.cfg
vim mfsexports.cfg
cd ..
cd var/
mfs/
cp metadata.mfs.empty metadata.mfs
cat metadata.mfs
/usr/local/mfs/sbin/mfsmaster start
ps axu | grep mfsmaster
lsof -i
tail -f /var/log/messages

1.2 启动master服务
/usr/local/mfs/sbin/mfsmaster start
working directory: /usr/local/mfs/var/mfs
lockfile created and locked
initializing mfsmaster modules ...
loading sessions ... ok
sessions file has been loaded
exports file has been loaded
loading metadata ...
create new empty filesystemmetadata file has been loaded
no charts data file - initializing empty charts
master <-> metaloggers module: listen on *:9419
master <-> chunkservers module: listen on *:9420
main master server module: listen on *:9421
mfsmaster daemon initialized properly

1.3. 停止master服务
/usr/local/mfs/sbin/mfsmaster -s

1.4  启动和停止web gui
启动： /usr/local/mfs/sbin/mfscgiserv
停止： kill /usr/local/mfs/sbin/mfscgiserv

1.5  相关配置文件
vim  mfsexports.cfg
192.168.28.0/24  . rw
192.168.28.0/24  /       rw

2. mfs  chunkserver
2.1 从块设备创建本地文件系统
fdisk -l
mkfs.ext3 /dev/sdb
mkdir /data
chown mfs:mfs /data
mount -t ext3 /dev/sdb /data
df -ah
/dev/sdb              133G  188M  126G   1% /data

2.2 创建50G的loop device文件
df -ah
dd if=/dev/zero of=/opt/mfs.img bs=1M count=50000
losetup /dev/loop0 mfs.img
mkfs.ext3 /dev/loop0
mkdir /data
chown mfs:mfs /data
mount -o loop /dev/loop0 /data
df -ah



2.3 安装chunkserver
wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.11/mfs-1.6.11.tar.gz
tar zxvf mfs-1.6.11.tar.gz
cd mfs-1.6.11
useradd mfs -s /sbin/nologin
./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs
make
make install
cd /usr/local/mfs/etc/
cp mfschunkserver.cfg.dist mfschunkserver.cfg
cp mfshdd.cfg.dist mfshdd.cfg


2.4 启动chunkvserver
/usr/local/mfs/sbin/mfschunkserver start
ps axu |grep mfs
tail -f /var/log/messages

2.5 停止chunksever
/usr/local/mfs/sbin/mfschunkserver stop


3. mfs client
3.1 安装fuse
yum install kernel.x86_64 kernel-devel.x86_64 kernel-headers.x86_64
###reboot server####
yum install fuse.x86_64 fuse-devel.x86_64 fuse-libs.x86_64
modprobe fuse


3.2 安装mfsclient
wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.11/mfs-1.6.11.tar.gz
tar zxvf mfs-1.6.11.tar.gz
cd mfs-1.6.11
useradd mfs -s /sbin/nologin
./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --enable-mfsmount
make
make install

3.3 挂载文件系统
cd /mnt/
mkdir mfs
/usr/local/mfs/bin/mfsmount /mnt/mfs/ -H 192.168.28.242

mkdir mfsmeta
/usr/local/mfs/bin/mfsmount -m /mnt/mfsmeta/ -H 192.168.28.242

df -ah



4.系统管理

4.1 管理命令

设置副本 的份数，推荐3份
/usr/local/mfs/bin/mfssetgoal -r 3 /mnt/mfs

查看某文件
/usr/local/mfs/bin/mfsgetgoal  /mnt/mfs

查看目录信息
/usr/local/mfs/bin/mfsdirinfo -H /mnt/mfs



5. 性能测试

5.1 mfs

1. 大文件(block=1M  byte)
dd if=/dev/zero of=1.img bs=1M count=5000
5242880000 bytes (5.2 GB) copied, 48.8481 seconds, 107 MB/s

2. 小文件( 50 byte * 100w个 * 1 client )    ( 1000 * 1000  )  写入
real    83m41.343s
user    4m17.993s
sys    16m58.939s
列表
time find ./ -type f | nl | tail
999999  ./0/1
1000000 ./0/0
real    0m39.418s
user    0m0.721s
sys    0m0.225s
删除
time rm -fr *
real    6m35.273s
user    0m0.394s
sys    0m23.546s

3. 小文件( 1K byte * 100w个 * 100 client )    { 1000 * 1000 )  
写入（100client）
time ../../p_touch_file.sh
real    22m51.159s
user    4m42.850s
sys    18m41.437s
列表（1client）
time find ./ | nl | tail
real    0m35.910s
user    0m0.628s
sys    0m0.204s
删除（1client）
time rm -fr *
real    6m36.530s
user    0m0.697s
sys    0m21.682s

4. 小文件（1k byte* 100w个 * 200 client）  { 1000 * 1000 )  
time ../../p_touch_file.sh
real    27m56.656s
user    5m12.195s
sys    20m52.079s


5. 小文件（1k byte* 100w个 * 1000 client）  { 1000 * 1000 )
写入
time ../../p_touch_file.sh
real    30m30.336s
user    5m6.607s
sys    21m




5.2 本地磁盘
1. 大文件(block=1M  byte)
dd if=/dev/zero of=1.img bs=1M count=5000
5242880000 bytes (5.2 GB) copied, 58.7371 seconds, 89.3 MB/s


2. 小文件(50 byte * 100w个 * 1 client)    { 1000 * 1000  ）
写入
time ../touch_file.sh
real  17m47.746s
user 4m54.068s
sys  12m54.425s
列表
time find ./ -type f | nl | tail
1000000 ./875/582
1000001 ./875/875
real 0m9.120s
user 0m1.102s
sys 0m0.726s
删除
time rm -fr *
real 0m37.201s
user 0m0.432s
sys 0m15.268s

5.3 基准测试(第一次)
5.3.1  随机读

(109.7 KB)

2010-01-14 12:55

5.3.2  随机写

(93.28 KB)

2010-01-14 12:55

5.3.3 顺序读

(120.29 KB)

2010-01-14 13:27

5.3.4  顺序写

(110.16 KB)

2010-01-14 13:27

5.4 基准测试（第2次）
5.4.1 随机读

(180.46 KB)

2010-01-15 17:43