Chinaunix首页 | 论坛 | 博客
  • 博客访问: 650977
  • 博文数量: 149
  • 博客积分: 3901
  • 博客等级: 中校
  • 技术积分: 1558
  • 用 户 组: 普通用户
  • 注册时间: 2009-02-16 14:33
文章分类

全部博文(149)

文章存档

2014年(2)

2013年(10)

2012年(32)

2011年(21)

2010年(84)

分类: HADOOP

2013-02-20 12:47:11

大家好 ~

  为了 HDFS 设备有一个 更好的稳定性,更高i/o  以及提供更好的 压缩性能 的文件系统

我对实际环境中可能用到到几个文件系统进行了一个测试。

 

测试工具 iozone , mkfs.ext3 , mkfs.ext4 , mkfs.xfs

环境 bjdn1  /dev/sdb1 盘符

 

         详细测试报表请参考附件 :

ext3.txt

                   ext3.优化.txt

                   ext4.txt

                   ext4.优化.txt

                   xfs.txt

                   xfs.优化.txt

 

结论

         根据我们实际情况 推荐 优化后的Ext4 文件系统

 

 

简要说明

1.       Ext3 宕机丢数据问题 非常头疼,而且性能 最差

 

2.       首先, xfs 大文件中是最快的,文件格式化 也是飞快。

但有个 问题 xfs的小文件性能不太好(网上这么说的)。而且运行时间长后有写文件碎片问题,会影响以后的文件系统性能。

 

3.       Ext4 在压缩性能上有帮助 .

        

        

 

修改文件系统,简易脚本纪要:

参考 http://blog.csdn.net/liuben/article/details/5521024

1.       mkfs.ext4 -T largefile /dev/sdb1

2.       mount -t ext4  -o defaults, async, noatime, nodiratime, data=writeback, barrier=0   /data/disk01

3.       tune2fs –O^has_journal /dev/sdb1

 

 

参考

        

 

         # 就是这篇文章,导致原来计划安装xfs系统

        

        

         # 文件系统对比

         http://tetralet.luna.com.tw/index.php?op=ViewArticle&articleId=214&blogId=1

 

 

         #ext3 上看 一些文件系统的基础知识

http://hi.baidu.com/redaxin/blog/item/e51cbc3f97449be754e72310.html

阅读(2839) | 评论(0) | 转发(0) |
0

上一篇:log4j 使用

下一篇:大数据2013峰会 - 第一天

给主人留下些什么吧!~~