HDFS 文件系统 选取

为了 HDFS 设备有一个 更好的稳定性，更高i/o  以及提供更好的 压缩性能 的文件系统

我对实际环境中可能用到到几个文件系统进行了一个测试。

 

测试工具 ： iozone , mkfs.ext3 , mkfs.ext4 , mkfs.xfs

环境 ： bjdn1  /dev/sdb1 盘符

 

         详细测试报表请参考附件 :

ext3.txt

              ext3.优化.txt

              ext4.txt

               ext4.优化.txt

                   xfs.txt

                   xfs.优化.txt

 

结论 ：

         根据我们实际情况 推荐 优化后的Ext4 文件系统 。

 

 

简要说明 ：

1.       Ext3 宕机丢数据问题 非常头疼，而且性能 最差 。

2.       首先， xfs 大文件中是最快的，文件格式化 也是飞快。

但有个 问题 xfs的小文件性能不太好（网上这么说的）。而且运行时间长后有写文件碎片问题，会影响以后的文件系统性能。

3.       Ext4 在压缩性能上有帮助 .

        

        

 

修改文件系统，简易脚本纪要：

参考 ： http://blog.csdn.net/liuben/article/details/5521024

1.       mkfs.ext4 -T largefile /dev/sdb1

2.       mount -t ext4  -o defaults, async, noatime, nodiratime, data=writeback, barrier=0   /data/disk01

3.       tune2fs –O^has_journal /dev/sdb1

 

 

参考 ：

        

 

         # 就是这篇文章，导致原来计划安装xfs系统

        

        

         # 多 文件系统对比

         http://tetralet.luna.com.tw/index.php?op=ViewArticle&articleId=214&blogId=1

 

 

         #从ext3 上看 一些文件系统的基础知识

http://hi.baidu.com/redaxin/blog/item/e51cbc3f97449be754e72310.html

 

测试脚本 ：

------------------------------------------------------------------------
ext3
mkfs.ext3  /dev/sdb1
iozone -a -n 32m -g 256m -i 0 -i 1 -i 5 -f  /dev/sdb1  -Rb ./ext3.xls



------------------------------------------------------------------------
ext3  优化
mkfs.ext3 -T largefile /dev/sdb1
iozone -a -n 32m -g 256m -i 0 -i 1 -i 5 -f  /dev/sdb1  -Rb ./ext3.yh.xls


*****

------------------------------------------------------------------------

ext4
mkfs.ext4  /dev/sdb1
iozone -a -n 32m -g 256m -i 0 -i 1 -i 5 -f  /dev/sdb1  -Rb ./ext4.xls


------------------------------------------------------------------------
ext4  优化
mkfs.ext4 -T largefile /dev/sdb1
iozone -a -n 32m -g 256m -i 0 -i 1 -i 5 -f  /dev/sdb1  -Rb ./ext4.yh.xls

*****

------------------------------------------------------------------------


xfs
mkfs.xfs  /dev/sdb1
iozone -a -n 32m -g 256m -i 0 -i 1 -i 5 -f  /dev/sdb1  -Rb ./xfs.xls


------------------------------------------------------------------------
xfs  优化
mkfs.xfs -f -i size=512 -l size=128m,lazy-count=1 -d agcount=32  /dev/sdb1
iozone -a -n 32m -g 256m -i 0 -i 1 -i 5 -f  /dev/sdb1  -Rb ./xfs.yh.xls

*****

------------------------------------------------------------------------