Linux日志文件系统(EXT4、XFS、JFS)及性能分析

Linux日志文件系统(EXT4、XFS、JFS)及性能分析

(2011-12-26 12:13:37)

转载▼

标签： ubuntu 文件系统 ext4 reiserfs jfs xfs it

分类： 5.实用工具

Ext4 ReiserFS Btrfs 等七种文件系统性能比拼

自上一篇《Ext2 v.s. Ext3 v.s. Ext4 性能比拼》 发布以来，社会各界纷纷来电来函，给出了“Ext4 我看行”，“Ext4 牛牛牛”，“用了 Ext4，嘿，还真对得起这块盘”，“Ext4，碎片去无踪，性能更出众”等等热情洋溢的评论，兄弟我深受鼓舞。在对 Ext4 颇不低俗的性能进行表扬的同时，人民群众还提出了新的要求，希望看到与现有同类文件系统性能横向比拼的结果。为了满足广大群众的热切需求，今天做了 Ext2、Ext3、Ext4、XFS、JFS、ReiserFS 和 Btrfs 的全面性能测试，对比结果如下：

	reclen	write	rewrite	read	reread	random read	random write	bkwd read	record rewrite	stride read	fwrite	frewrite	fread	freread
Ext2 real 27m23.545s user 0m9.184s sys 4m40.925s	4	218,554	218,662	668,245	245,208	85,235	175,284	101,864	1,911,579	74,368	215,014	217,680	583,169	244,831
	8	216,064	220,489	618,661	243,444	146,695	215,002	176,908	2,314,305	129,333	215,772	218,571	605,436	241,144
	16	218,874	219,173	609,563	242,592	246,442	220,306	292,114	2,438,520	218,357	216,497	219,774	596,211	244,652
	32	219,584	217,859	611,712	244,445	372,023	224,151	442,629	2,423,574	334,999	218,829	219,553	606,186	244,346
	64	216,320	219,400	622,218	243,761	478,747	227,018	580,960	2,633,117	439,129	215,956	220,166	608,210	243,950
	128	219,286	218,318	614,559	243,862	579,724	224,346	690,945	2,467,787	537,440	219,420	218,330	607,326	244,337
	256	216,027	220,509	635,633	245,385	614,120	227,099	842,220	2,567,169	614,753	217,744	219,897	617,728	243,780
Ext3 real 27m26.675s user 0m9.323s sys 6m43.199s	4	215,478	218,294	604,858	246,148	86,758	151,858	102,113	1,618,769	74,979	214,446	218,569	568,659	242,772
	8	217,695	218,777	609,377	244,520	148,608	190,313	171,903	1,830,365	128,957	218,752	217,501	603,465	246,861
	16	215,683	219,822	643,396	248,815	252,255	202,374	290,681	1,915,488	219,805	216,519	219,033	568,086	243,985
	32	219,341	217,364	603,462	245,273	379,512	208,740	435,756	2,069,791	335,303	218,578	219,086	604,572	245,578
	64	216,192	220,186	665,646	244,234	481,101	212,185	567,750	2,106,710	442,926	217,075	220,042	618,134	244,870
	128	218,503	219,151	616,479	244,711	589,927	212,355	683,943	2,080,136	541,597	219,271	218,514	600,308	244,782
	256	217,255	219,213	637,417	248,555	636,309	211,793	839,907	2,125,314	618,958	218,424	218,954	600,894	245,523
Ext4 real 26m15.771s user 0m9.609s sys 5m36.096s	4	225,586	224,616	532,721	270,174	82,398	180,231	102,935	1,683,476	74,990	224,893	224,186	277,025	584,868
	8	226,896	221,965	274,314	629,603	239,913	219,223	156,964	2,026,184	127,553	226,382	227,019	292,566	593,154
	16	222,929	229,392	272,022	599,360	390,533	223,951	256,831	2,114,002	212,773	227,728	225,332	602,317	269,289
	32	223,703	221,025	566,981	262,980	380,787	227,198	435,774	2,157,610	338,629	226,208	225,816	591,102	268,725
	64	222,236	223,813	593,481	268,002	522,365	227,268	582,830	2,216,225	457,252	228,294	223,269	614,376	269,657
	128	221,681	222,859	285,304	623,990	915,430	231,380	663,383	2,276,039	573,624	226,616	224,477	583,965	271,159
	256	220,129	221,608	279,101	657,815	889,963	232,256	770,220	2,212,083	610,074	225,877	224,642	288,852	603,933
XFS real 28m43.957s user 0m9.899s sys 6m4.268s	4	217,459	214,348	244,600	239,647	78,424	161,673	107,643	1,711,976	74,828	218,638	216,903	227,675	240,492
	8	220,514	219,994	241,854	951,125	248,623	207,750	161,175	2,214,681	127,363	218,892	211,613	219,749	240,286
	16	220,776	220,740	226,186	242,746	224,486	219,963	318,503	2,480,826	223,664	221,106	221,694	669,693	262,346
	32	218,481	216,919	255,232	799,715	593,083	225,213	408,816	2,278,034	337,026	222,153	213,330	226,093	241,351
	64	216,921	210,031	228,877	244,161	430,479	225,432	612,872	2,568,460	448,155	224,650	209,745	221,768	239,888
	128	216,341	218,284	232,550	242,283	559,400	227,915	768,251	2,545,859	568,945	222,605	216,060	714,911	258,397
	256	221,444	220,462	469,309	321,275	757,895	225,641	806,251	2,689,152	609,077	219,703	219,815	226,021	240,108
JFS real 26m53.990s user 0m9.096s sys 4m39.691s	4	196,819	218,121	455,194	258,062	85,910	169,163	142,814	1,949,282	92,246	212,270	217,272	450,996	258,928
	8	211,794	215,030	445,452	258,082	147,556	208,623	236,197	2,214,516	159,402	213,076	218,146	451,013	258,767
	16	209,028	214,714	455,795	257,989	248,145	218,747	399,935	2,587,176	269,527	214,271	215,626	439,736	258,830
	32	210,454	218,204	448,067	258,568	380,325	220,682	591,781	2,379,845	409,061	213,292	217,683	439,114	259,160
	64	214,862	215,636	450,430	258,413	487,982	222,660	750,139	2,613,574	522,050	216,365	217,830	444,546	259,553
	128	213,152	218,084	449,185	258,775	592,912	148,064	933,583	2,728,229	667,878	219,155	213,461	466,396	262,608
	256	213,119	213,514	477,804	258,508	631,376	129,060	1,055,205	2,727,762	717,814	213,771	217,569	463,931	258,291
ReiserFS real 28m16.075s user 0m10.134s sys 7m38.726s	4	208,422	217,932	190,459	223,684	72,142	175,210	99,820	1,726,654	74,081	211,433	216,255	540,847	239,091
	8	214,840	218,917	610,592	240,376	146,908	210,703	176,295	2,180,046	128,114	215,368	218,950	580,334	240,261
	16	216,886	217,827	651,240	243,800	249,478	219,967	288,457	2,444,958	213,780	217,438	219,510	592,932	239,510
	32	214,217	219,178	645,366	240,227	369,030	224,795	434,556	2,372,823	329,006	217,055	217,110	554,072	240,046
	64	217,160	219,013	623,512	239,875	470,435	224,619	560,790	2,429,552	421,615	218,043	218,734	587,074	239,802
	128	215,163	219,348	624,117	240,364	572,926	226,463	683,686	2,530,721	530,024	215,932	218,157	577,617	240,975
	256	217,058	218,839	643,857	240,141	615,875	224,530	825,364	2,631,201	590,909	217,256	218,942	567,422	240,061
Btrfs real 59m41.974s user 0m10.382s sys 18m40.804s	4	214,203	215,879	265,389	280,244	65,367	10,520	16,032	773,644	34,260	94,105	194,357	269,380	268,254
	8	218,318	215,978	270,100	275,160	109,687	26,015	40,447	1,366,911	89,489	141,760	214,990	273,446	271,531
	16	219,477	215,738	284,876	282,111	178,662	47,881	72,623	1,864,106	150,255	177,508	219,348	264,935	273,140
	32	218,835	220,886	281,550	277,054	246,933	130,288	181,774	2,573,279	250,936	204,491	219,736	281,894	268,989
	64	216,758	218,890	282,026	275,127	312,803	195,963	299,685	3,270,521	354,200	202,362	220,928	281,331	271,676
	128	216,509	220,235	279,353	274,813	368,053	215,445	343,696	3,739,759	414,950	216,029	219,711	276,973	272,569
	256	220,333	216,113	277,920	273,271	405,215	215,495	393,731	4,015,851	474,052	213,849	220,372	283,035	277,594
														Kbytes/sec

本次测试所使用的 Linux kernel 版本为 2.6.29-rc3，文件系统性能测试工具为 IOzone 3.318。

从 测试结果可以看出，Ext4 的综合性能位居现有文件系统之首，JFS、ReiserFS 在读性能方面亦有不俗表现。Btrfs 的小块数据读写性能与平均水平相差甚远，是导致其本次测试总时间超出平均时间两倍的主要原因。较之其它成熟的文件系统，Btrfs 投入生产系统运作可能尚需时日。

至于一小撮不明真相别有用心的群众提出还要测 NTFS、 Vfat、MSDOS 等“文件系统”，恕时间有限，不予受理。


-----------------------------------------------------------

Linux kernel 自 2.6.28 开始正式支持新的文件系统 Ext4。 Ext4 是 Ext3 的改进版，修改了 Ext3 中部分重要的数据结构，而不仅仅像 Ext3 对 Ext2 那样，只是增加了一个日志功能而已。Ext4 可以提供更佳的性能和可靠性，还有更为丰富的功能：
1. 与 Ext3 兼容。

执行若干条命令，就能从 Ext3 在线迁移到 Ext4，而无须重新格式化磁盘或重新安装系统。原有 Ext3 数据结构照样保留，Ext4 作用于新数据，当然，整个文件系统因此也就获得了 Ext4 所支持的更大容量。
2. 更大的文件系统和更大的文件。

较之 Ext3 目前所支持的最大 16TB 文件系统和最大 2TB 文件，Ext4 分别支持 1EB（1,048,576TB， 1EB=1024PB， 1PB=1024TB）的文件系统，以及 16TB 的文件。
3. 无限数量的子目录。

Ext3 目前只支持 32,000 个子目录，而 Ext4 支持无限数量的子目录。
4. Extents。

Ext3 采用间接块映射，当操作大文件时，效率极其低下。比如一个 100MB 大小的文件，在 Ext3 中要建立 25,600 个数据块（每个数据块大小为 4KB）的映射表。而 Ext4 引入了现代文件系统中流行的 extents 概念，每个 extent 为一组连续的数据块，上述文件则表示为“该文件数据保存在接下来的 25,600 个数据块中”，提高了不少效率。
5. 多块分配。

当写入数据到 Ext3 文件系统中时，Ext3 的数据块分配器每次只能分配一个 4KB 的块，写一个 100MB 文件就要调用 25,600 次数据块分配器，而 Ext4 的多块分配器“multiblock allocator”（mballoc） 支持一次调用分配多个数据块。
6. 延迟分配。

Ext3 的数据块分配策略是尽快分配，而 Ext4 和其它现代文件操作系统的策略是尽可能地延迟分配，直到文件在 cache 中写完才开始分配数据块并写入磁盘，这样就能优化整个文件的数据块分配，与前两种特性搭配起来可以显著提升性能。
7. 快速 fsck。

以前执行 fsck 第一步就会很慢，因为它要检查所有的 inode，现在 Ext4 给每个组的 inode 表中都添加了一份未使用 inode 的列表，今后 fsck Ext4 文件系统就可以跳过它们而只去检查那些在用的 inode 了。
8. 日志校验。

日志是最常用的部分，也极易导致磁盘硬件故障，而从损坏的日志中恢复数据会导致更多的数据损坏。Ext4 的日志校验功能可以很方便地判断日志数据是否损坏，而且它将 Ext3 的两阶段日志机制合并成一个阶段，在增加安全性的同时提高了性能。
9. “无日志”（No Journaling）模式。

日志总归有一些开销，Ext4 允许关闭日志，以便某些有特殊需求的用户可以借此提升性能。
10. 在线碎片整理。

尽管延迟分配、多块分配和 extents 能有效减少文件系统碎片，但碎片还是不可避免会产生。Ext4 支持在线碎片整理，并将提供 e4defrag 工具进行个别文件或整个文件系统的碎片整理。
11. inode 相关特性。

Ext4 支持更大的 inode，较之 Ext3 默认的 inode 大小 128 字节，Ext4 为了在 inode 中容纳更多的扩展属性（如纳秒时间戳或 inode 版本），默认 inode 大小为 256 字节。Ext4 还支持快速扩展属性（fast extended attributes）和 inode 保留（inodes reservation）。
12. 持久预分配（Persistent preallocation）。

P2P 软件为了保证下载文件有足够的空间存放，常常会预先创建一个与所下载文件大小相同的空文件，以免未来的数小时或数天之内磁盘空间不足导致下载失败。Ext4 在文件系统层面实现了持久预分配并提供相应的 API（libc 中的 posix_fallocate()），比应用软件自己实现更有效率。
13. 默认启用 barrier。

磁盘上配有内部缓存，以便重新调整批量数据的写操作顺序，优化写入性能，因此文件系统必须在日志数据写入磁盘之后才能写 commit 记录，若 commit 记录写入在先，而日志有可能损坏，那么就会影响数据完整性。Ext4 默认启用 barrier，只有当 barrier 之前的数据全部写入磁盘，才能写 barrier 之后的数据。（可通过 "mount -o barrier=0" 命令禁用该特性。）

------------------------------------------------------------

 

      北京时间1月15日消息，据国外媒体报道，谷歌正在将EXT2文件系统转到新的EXT4（the fourth extended file system）文件系统。

来自谷歌的麦克-罗宾（Michael Rubin）透露消息说，谷歌正考虑将EXT2系统升级，最终确定为EXT4系统。

他表示，他们还考虑过XFS和JFS。结果显示，EXT4和XFS的表现类似，不过从EXT2升级到EXT4比升级到XFS容易。

而Btrfs太具实验性，谷歌目前不会考虑。

分析称，EXT4最初的表现非常好，但是在某些内核条件下表现力降低。比如在Linux2.6.32内核条件下，EXT4的表现力降低，而Btrfs的表现力提高。

同时，谷歌雇佣了知名的Linux内核开发者Ted Ts'o，他对EXT4文件系统的开发起到了主要作用。

EXT4介绍：

XFS介绍：

JFS介绍：

--------------------------------------------------------------------------

    在Microsoft Winsows的世界，硬盘可以格式化成NTFS、FAT32、FATl6等等不同的格式。同樣地，在GNU/Linux底下也是有很多不同的文件系统格 式可供选择。当前在GNU/Linux底下，比较常用的有这几种格式：Ext2／Ext3、ReiserFS、XFS和JFS等数种。

　　除了Ext2以外，其它几种都是日誌型文件系统。那什麼是日誌型文件系统呢? 就是系统会多用一些额外的空间纪錄硬盘的数据状态，因而在不正常开关机后，不需整个硬盘重新扫描来恢复正常的系统状态。

　　● Ext2：此为一非常老旧且不支持日誌系统的文件系统格式，早期的Linux玩家应该还记得吧，在每次不正常关机后，重新开机时错误检查会需要很久，而且在不正常关机下，常常会让你一次不见很多文件，现在已经很少人使用这类文件系统了。

　 　● Ext3：为Ext2个改良版，所以Ext2可以直接升级成为Ext3而不必重新格式化，这也可以让旧的Ext2系统更加稳定。而主要和Ext2的差別是 增加了日誌系统(metadata)，所以在不正常开关机后，可以迅速使系统恢复。而因为它与旧有的文件系统兼容，因此很多发行版都缺省使用Ext3。但 是在实际测试上，它的硬盘使用率其实不佳，大概只有真正空间的93％会被使用到，至於其它性能测试表现则为中等。在格式化与创建文件系统的时间也是其它文 件系统的数十倍。

　　● ReiserFS：：採用日誌型的文件系统，为Hans Reiser所创，因此以他的名字来命名。技术上使用的是B*-tree为基础的文件系统，其特色为从处理大型文件到眾多小文件都可以用很高的效率处理。 实务上ReiserFS 在处理文件小於1k的小文件时，效率甚至可以比Ext3快約10倍，所以ReiserFS专长是在处理很多小文件。而在一般操作上，它的性能表现也有中上 的程度。

　　● XFS： />不错的表现。