Chinaunix首页 | 论坛 | 博客
  • 博客访问: 2518778
  • 博文数量: 540
  • 博客积分: 11289
  • 博客等级: 上将
  • 技术积分: 6160
  • 用 户 组: 普通用户
  • 注册时间: 2008-02-11 20:27
个人简介

潜龙勿用,见龙在田

文章分类

全部博文(540)

文章存档

2018年(2)

2013年(5)

2012年(24)

2011年(104)

2010年(60)

2009年(217)

2008年(128)

分类: LINUX

2009-03-08 23:12:17

Linuxkernel 2.6.28开始正式支持新的文件系统Ext4Ext4Ext3的改进版,修改了Ext3中部分重要的数据结构,而不仅仅像Ext3Ext2那样,只是增加了一个日志功能而已。Ext4可以提供更佳的性能和可靠性,还有更为丰富的功能:

1.Ext3兼容。执行若干条命令,就能从Ext3在线迁移到Ext4,而无须重新格式化磁盘或重新安装系统。原有Ext3数据结构照样保留,Ext4作用于新数据,当然,整个文件系统因此也就获得了Ext4所支持的更大容量。
2.更大的文件系统和更大的文件。较之Ext3目前所支持的最大16TB文件系统和最大2TB文件,Ext4分别支持1EB1,048,576TB1EB=1024PB1PB=1024TB)的文件系统,以及16TB的文件。
3.无限数量的子目录。Ext3目前只支持32,000个子目录,而Ext4支持无限数量的子目录。

4.ExtentsExt3采用间接块映射,当操作大文件时,效率极其低下。比如一个100MB大小的文件,在Ext3中要建立25,600个数据块(每个数据块大小为4KB)的映射表。而Ext4引入了现代文件系统中流行的extents概念,每个extent为一组连续的数据块,上述文件则表示为“该文件数据保存在接下来的25,600个数据块中”,提高了不少效率。
5.多块分配。当写入数据到 Ext3文件系统中时,Ext3的数据块分配器每次只能分配一个4KB的块,写一个100MB文件就要调用25,600次数据块分配器,而Ext4的多块分配器“multiblockallocator”mballoc)支持一次调用分配多个数据块。
6.延迟分配。Ext3的数据块分配策略是尽快分配,而Ext4和其它现代文件操作系统的策略是尽可能地延迟分配,直到文件在cache中写完才开始分配数据块并写入磁盘,这样就能优化整个文件的数据块分配,与前两种特性搭配起来可以显著提升性能。
7.快速fsck以前执行fsck第一步就会很慢,因为它要检查所有的inode,现在Ext4给每个组的inode表中都添加了一份未使用inode的列表,今后fsckExt4 文件系统就可以跳过它们而只去检查那些在用的inode了。
8.日志校验。日志是最常用的部分,也极易导致磁盘硬件故障,而从损坏的日志中恢复数据会导致更多的数据损坏。Ext4的日志校验功能可以很方便地判断日志数据是否损坏,而且它将Ext3的两阶段日志机制合并成一个阶段,在增加安全性的同时提高了性能。
9.“无日志”(NoJournaling)模式。日志总归有一些开销,Ext4允许关闭日志,以便某些有特殊需求的用户可以借此提升性能。
10.在线碎片整理。尽管延迟分配、多块分配和extents能有效减少文件系统碎片,但碎片还是不可避免会产生。Ext4支持在线碎片整理,并将提供e4defrag工具进行个别文件或整个文件系统的碎片整理。
11.inode 相关特性。Ext4支持更大的inode,较之Ext3默认的inode大小128字节,Ext4为了在inode中容纳更多的扩展属性(如纳秒时间戳或inode版本),默认inode大小为256字节。Ext4还支持快速扩展属性(fastextended attributes)和inode保留(inodesreservation)。
12.持久预分配(Persistentpreallocation)。P2P软件为了保证下载文件有足够的空间存放,常常会预先创建一个与所下载文件大小相同的空文件,以免未来的数小时或数天之内磁盘空间不足导致下载失败。Ext4在文件系统层面实现了持久预分配并提供相应的APIlibc中的posix_fallocate()),比应用软件自己实现更有效率。
13.默认启用barrier磁盘上配有内部缓存,以便重新调整批量数据的写操作顺序,优化写入性能,因此文件系统必须在日志数据写入磁盘之后才能写commit记录,若commit记录写入在先,而日志有可能损坏,那么就会影响数据完整性。Ext4默认启用barrier,只有当barrier之前的数据全部写入磁盘,才能写barrier之后的数据。(可通过"mount-o barrier=0" 命令禁用该特性。)
Ext4Linuxkernel 2.6.28 正式发布已有数周,一直苦于找不到测试用的磁盘,正巧年前Intel送来几块SSD测试样品,这两天就顺带把SSD也测了。测试所使用的Linux内核版本为2.6.28.2,测试工具为IOzone3.318

测试命令为:
time/opt/iozone/bin/iozone -a -s 4G -q 256 -y 4>|/root/ext4-iozone-stdout.txt
上述命令的说明如下:
AutoMode
File size set to 4194304 KB
Using Maximum Record Size 256KB
Using Minimum Record Size 4 KB
Command line used:/opt/iozone/bin/iozone -a -s 4G -q 256 -y 4
Output is inKbytes/sec
Time Resolution = 0.000001 seconds.
Processor cachesize set to 1024 Kbytes.
Processor cache line size set to 32bytes.
File stride size set to 17 * record size.

测试结果除了表明IntelSSD 的读写速度快得令人咋舌之外,还可以说明Ext4的各方面性能都超过了上一代Ext3,甚至在大多数情况下,比没有日志功能的Ext2还要快出不少:
[attach]229537[/attach]
注:
1.
关于IOzone测试方法,参考BenMartin 的文章:
2.
关于Ext4的相关内容,参考KernelNewbies 专页:上面的测试报告发布以来,社会各界纷纷来电来函,给出了“Ext4我看行”,“Ext4牛牛牛”,“用了Ext4,嘿,还真对得起这块盘”,“Ext4,碎片去无踪,性能更出众”等等热情洋溢的评论,兄弟我深受鼓舞。在对Ext4颇不低俗的性能进行表扬的同时,人民群众还提出了新的要求,希望看到与现有同类文件系统性能横向比拼的结果。为了满足广大群众的热切需求,今天做了Ext2Ext3Ext4XFSJFSReiserFSBtrfs的全面性能测试,对比结果如下:



[attach]229538[/attach]
[attach]229539[/attach]
[attach]229540[/attach]
本次测试所使用的Linuxkernel 版本为2.6.29-rc3,文件系统性能测试工具为IOzone3.318
从测试结果可以看出,Ext4的综合性能位居现有文件系统之首,JFSReiserFS在读性能方面亦有不俗表现。Btrfs的小块数据读写性能与平均水平相差甚远,是导致其本次测试总时间超出平均时间两倍的主要原因。较之其它成熟的文件系统,Btrfs投入生产系统运作可能尚需时日。
至于一小撮不明真相别有用心的群众提出还要测NTFSVfatMSDOS等“文件系统”,恕时间有限,不予受理。

阅读(5976) | 评论(0) | 转发(1) |
给主人留下些什么吧!~~