分类: HADOOP
2013-02-20 12:47:11
大家好 ~
为了 HDFS 设备有一个 更好的稳定性,更高i/o 以及提供更好的 压缩性能 的文件系统
我对实际环境中可能用到到几个文件系统进行了一个测试。
测试工具 : iozone , mkfs.ext3 , mkfs.ext4 , mkfs.xfs
环境 : bjdn1 /dev/sdb1 盘符
详细测试报表请参考附件 :
ext3.txt
ext3.优化.txt
ext4.txt
ext4.优化.txt
xfs.txt
xfs.优化.txt
结论 :
根据我们实际情况 推荐 优化后的Ext4 文件系统 。
简要说明 :
1. Ext3 宕机丢数据问题 非常头疼,而且性能 最差 。
2. 首先, xfs 大文件中是最快的,文件格式化 也是飞快。
但有个 问题 xfs的小文件性能不太好(网上这么说的)。而且运行时间长后有写文件碎片问题,会影响以后的文件系统性能。
3. Ext4 在压缩性能上有帮助 .
修改文件系统,简易脚本纪要:
参考 : http://blog.csdn.net/liuben/article/details/5521024
1. mkfs.ext4 -T largefile /dev/sdb1
2. mount -t ext4 -o defaults, async, noatime, nodiratime, data=writeback, barrier=0 /data/disk01
3. tune2fs –O^has_journal /dev/sdb1
参考 :
# 就是这篇文章,导致原来计划安装xfs系统
# 多 文件系统对比
http://tetralet.luna.com.tw/index.php?op=ViewArticle&articleId=214&blogId=1
#从ext3 上看 一些文件系统的基础知识
http://hi.baidu.com/redaxin/blog/item/e51cbc3f97449be754e72310.html