Chinaunix首页 | 论坛 | 博客
  • 博客访问: 5694071
  • 博文数量: 676
  • 博客积分: 10821
  • 博客等级: 上将
  • 技术积分: 11805
  • 用 户 组: 普通用户
  • 注册时间: 2005-12-02 10:41
个人简介

大数据、ML、AI、云计算openstack、Linux、SpringCloud。

文章分类

全部博文(676)

分类: 服务器与存储

2016-01-25 18:55:02

Ext4 ReiserFS Btrfs 等七种文件系统性能比拼

自上一篇《Ext2 v.s. Ext3 v.s. Ext4 性能比拼》 发布以来,社会各界纷纷来电来函,给出了“Ext4 我看行”,“Ext4 牛牛牛”,“用了 Ext4,嘿,还真对得起这块盘”,“Ext4,碎片去无踪,性能更出众”等等热情洋溢的评论,兄弟我深受鼓舞。在对 Ext4 颇不低俗的性能进行表扬的同时,人民群众还提出了新的要求,希望看到与现有同类文件系统性能横向比拼的结果。为了满足广大群众的热切需求,今天做了 Ext2、Ext3、Ext4、XFS、JFS、ReiserFS 和 Btrfs 的全面性能测试,对比结果如下:


reclen write rewrite read reread random read random write bkwd read record rewrite stride read fwrite frewrite fread freread
Ext2

real 27m23.545s
user 0m9.184s
sys 4m40.925s
4 218,554 218,662 668,245 245,208 85,235 175,284 101,864 1,911,579 74,368 215,014 217,680 583,169 244,831
8 216,064 220,489 618,661 243,444 146,695 215,002 176,908 2,314,305 129,333 215,772 218,571 605,436 241,144
16 218,874 219,173 609,563 242,592 246,442 220,306 292,114 2,438,520 218,357 216,497 219,774 596,211 244,652
32 219,584 217,859 611,712 244,445 372,023 224,151 442,629 2,423,574 334,999 218,829 219,553 606,186 244,346
64 216,320 219,400 622,218 243,761 478,747 227,018 580,960 2,633,117 439,129 215,956 220,166 608,210 243,950
128 219,286 218,318 614,559 243,862 579,724 224,346 690,945 2,467,787 537,440 219,420 218,330 607,326 244,337
256 216,027 220,509 635,633 245,385 614,120 227,099 842,220 2,567,169 614,753 217,744 219,897 617,728 243,780
Ext3

real 27m26.675s
user 0m9.323s
sys 6m43.199s
4 215,478 218,294 604,858 246,148 86,758 151,858 102,113 1,618,769 74,979 214,446 218,569 568,659 242,772
8 217,695 218,777 609,377 244,520 148,608 190,313 171,903 1,830,365 128,957 218,752 217,501 603,465 246,861
16 215,683 219,822 643,396 248,815 252,255 202,374 290,681 1,915,488 219,805 216,519 219,033 568,086 243,985
32 219,341 217,364 603,462 245,273 379,512 208,740 435,756 2,069,791 335,303 218,578 219,086 604,572 245,578
64 216,192 220,186 665,646 244,234 481,101 212,185 567,750 2,106,710 442,926 217,075 220,042 618,134 244,870
128 218,503 219,151 616,479 244,711 589,927 212,355 683,943 2,080,136 541,597 219,271 218,514 600,308 244,782
256 217,255 219,213 637,417 248,555 636,309 211,793 839,907 2,125,314 618,958 218,424 218,954 600,894 245,523
Ext4

real 26m15.771s
user 0m9.609s
sys 5m36.096s
4 225,586 224,616 532,721 270,174 82,398 180,231 102,935 1,683,476 74,990 224,893 224,186 277,025 584,868
8 226,896 221,965 274,314 629,603 239,913 219,223 156,964 2,026,184 127,553 226,382 227,019 292,566 593,154
16 222,929 229,392 272,022 599,360 390,533 223,951 256,831 2,114,002 212,773 227,728 225,332 602,317 269,289
32 223,703 221,025 566,981 262,980 380,787 227,198 435,774 2,157,610 338,629 226,208 225,816 591,102 268,725
64 222,236 223,813 593,481 268,002 522,365 227,268 582,830 2,216,225 457,252 228,294 223,269 614,376 269,657
128 221,681 222,859 285,304 623,990 915,430 231,380 663,383 2,276,039 573,624 226,616 224,477 583,965 271,159
256 220,129 221,608 279,101 657,815 889,963 232,256 770,220 2,212,083 610,074 225,877 224,642 288,852 603,933
XFS

real 28m43.957s
user 0m9.899s
sys 6m4.268s
4 217,459 214,348 244,600 239,647 78,424 161,673 107,643 1,711,976 74,828 218,638 216,903 227,675 240,492
8 220,514 219,994 241,854 951,125 248,623 207,750 161,175 2,214,681 127,363 218,892 211,613 219,749 240,286
16 220,776 220,740 226,186 242,746 224,486 219,963 318,503 2,480,826 223,664 221,106 221,694 669,693 262,346
32 218,481 216,919 255,232 799,715 593,083 225,213 408,816 2,278,034 337,026 222,153 213,330 226,093 241,351
64 216,921 210,031 228,877 244,161 430,479 225,432 612,872 2,568,460 448,155 224,650 209,745 221,768 239,888
128 216,341 218,284 232,550 242,283 559,400 227,915 768,251 2,545,859 568,945 222,605 216,060 714,911 258,397
256 221,444 220,462 469,309 321,275 757,895 225,641 806,251 2,689,152 609,077 219,703 219,815 226,021 240,108
JFS

real 26m53.990s
user 0m9.096s
sys 4m39.691s
4 196,819 218,121 455,194 258,062 85,910 169,163 142,814 1,949,282 92,246 212,270 217,272 450,996 258,928
8 211,794 215,030 445,452 258,082 147,556 208,623 236,197 2,214,516 159,402 213,076 218,146 451,013 258,767
16 209,028 214,714 455,795 257,989 248,145 218,747 399,935 2,587,176 269,527 214,271 215,626 439,736 258,830
32 210,454 218,204 448,067 258,568 380,325 220,682 591,781 2,379,845 409,061 213,292 217,683 439,114 259,160
64 214,862 215,636 450,430 258,413 487,982 222,660 750,139 2,613,574 522,050 216,365 217,830 444,546 259,553
128 213,152 218,084 449,185 258,775 592,912 148,064 933,583 2,728,229 667,878 219,155 213,461 466,396 262,608
256 213,119 213,514 477,804 258,508 631,376 129,060 1,055,205 2,727,762 717,814 213,771 217,569 463,931 258,291
ReiserFS

real 28m16.075s
user 0m10.134s
sys 7m38.726s
4 208,422 217,932 190,459 223,684 72,142 175,210 99,820 1,726,654 74,081 211,433 216,255 540,847 239,091
8 214,840 218,917 610,592 240,376 146,908 210,703 176,295 2,180,046 128,114 215,368 218,950 580,334 240,261
16 216,886 217,827 651,240 243,800 249,478 219,967 288,457 2,444,958 213,780 217,438 219,510 592,932 239,510
32 214,217 219,178 645,366 240,227 369,030 224,795 434,556 2,372,823 329,006 217,055 217,110 554,072 240,046
64 217,160 219,013 623,512 239,875 470,435 224,619 560,790 2,429,552 421,615 218,043 218,734 587,074 239,802
128 215,163 219,348 624,117 240,364 572,926 226,463 683,686 2,530,721 530,024 215,932 218,157 577,617 240,975
256 217,058 218,839 643,857 240,141 615,875 224,530 825,364 2,631,201 590,909 217,256 218,942 567,422 240,061
Btrfs

real 59m41.974s
user 0m10.382s
sys 18m40.804s
4 214,203 215,879 265,389 280,244 65,367 10,520 16,032 773,644 34,260 94,105 194,357 269,380 268,254
8 218,318 215,978 270,100 275,160 109,687 26,015 40,447 1,366,911 89,489 141,760 214,990 273,446 271,531
16 219,477 215,738 284,876 282,111 178,662 47,881 72,623 1,864,106 150,255 177,508 219,348 264,935 273,140
32 218,835 220,886 281,550 277,054 246,933 130,288 181,774 2,573,279 250,936 204,491 219,736 281,894 268,989
64 216,758 218,890 282,026 275,127 312,803 195,963 299,685 3,270,521 354,200 202,362 220,928 281,331 271,676
128 216,509 220,235 279,353 274,813 368,053 215,445 343,696 3,739,759 414,950 216,029 219,711 276,973 272,569
256 220,333 216,113 277,920 273,271 405,215 215,495 393,731 4,015,851 474,052 213,849 220,372 283,035 277,594














Kbytes/sec

本次测试所使用的 Linux kernel 版本为 2.6.29-rc3,文件系统性能测试工具为 IOzone 3.318。

从 测试结果可以看出,Ext4 的综合性能位居现有文件系统之首,JFS、ReiserFS 在读性能方面亦有不俗表现。Btrfs 的小块数据读写性能与平均水平相差甚远,是导致其本次测试总时间超出平均时间两倍的主要原因。较之其它成熟的文件系统,Btrfs 投入生产系统运作可能尚需时日。

至于一小撮不明真相别有用心的群众提出还要测 NTFS、 Vfat、MSDOS 等“文件系统”,恕时间有限,不予受理。

http://www.360doc.com/content/11/1226/12/16531_175056567.shtml
-----------------------------------------------------------
http://www.360doc.com/showWeb/0/0/175056758.aspx

Linux kernel 自 2.6.28 开始正式支持新的文件系统 Ext4。 Ext4 是 Ext3 的改进版,修改了 Ext3 中部分重要的数据结构,而不仅仅像 Ext3 对 Ext2 那样,只是增加了一个日志功能而已。Ext4 可以提供更佳的性能和可靠性,还有更为丰富的功能:
1. 与 Ext3 兼容。

执行若干条命令,就能从 Ext3 在线迁移到 Ext4,而无须重新格式化磁盘或重新安装系统。原有 Ext3 数据结构照样保留,Ext4 作用于新数据,当然,整个文件系统因此也就获得了 Ext4 所支持的更大容量。
2. 更大的文件系统和更大的文件。

较之 Ext3 目前所支持的最大 16TB 文件系统和最大 2TB 文件,Ext4 分别支持 1EB(1,048,576TB, 1EB=1024PB, 1PB=1024TB)的文件系统,以及 16TB 的文件。
3. 无限数量的子目录。

Ext3 目前只支持 32,000 个子目录,而 Ext4 支持无限数量的子目录。
4. Extents。

Ext3 采用间接块映射,当操作大文件时,效率极其低下。比如一个 100MB 大小的文件,在 Ext3 中要建立 25,600 个数据块(每个数据块大小为 4KB)的映射表。而 Ext4 引入了现代文件系统中流行的 extents 概念,每个 extent 为一组连续的数据块,上述文件则表示为“该文件数据保存在接下来的 25,600 个数据块中”,提高了不少效率。
5. 多块分配。

当写入数据到 Ext3 文件系统中时,Ext3 的数据块分配器每次只能分配一个 4KB 的块,写一个 100MB 文件就要调用 25,600 次数据块分配器,而 Ext4 的多块分配器“multiblock allocator”(mballoc) 支持一次调用分配多个数据块。
6. 延迟分配。

Ext3 的数据块分配策略是尽快分配,而 Ext4 和其它现代文件操作系统的策略是尽可能地延迟分配,直到文件在 cache 中写完才开始分配数据块并写入磁盘,这样就能优化整个文件的数据块分配,与前两种特性搭配起来可以显著提升性能。
7. 快速 fsck。

以前执行 fsck 第一步就会很慢,因为它要检查所有的 inode,现在 Ext4 给每个组的 inode 表中都添加了一份未使用 inode 的列表,今后 fsck Ext4 文件系统就可以跳过它们而只去检查那些在用的 inode 了。
8. 日志校验。

日志是最常用的部分,也极易导致磁盘硬件故障,而从损坏的日志中恢复数据会导致更多的数据损坏。Ext4 的日志校验功能可以很方便地判断日志数据是否损坏,而且它将 Ext3 的两阶段日志机制合并成一个阶段,在增加安全性的同时提高了性能。
9. “无日志”(No Journaling)模式。

日志总归有一些开销,Ext4 允许关闭日志,以便某些有特殊需求的用户可以借此提升性能。
10. 在线碎片整理。

尽管延迟分配、多块分配和 extents 能有效减少文件系统碎片,但碎片还是不可避免会产生。Ext4 支持在线碎片整理,并将提供 e4defrag 工具进行个别文件或整个文件系统的碎片整理。
11. inode 相关特性。

Ext4 支持更大的 inode,较之 Ext3 默认的 inode 大小 128 字节,Ext4 为了在 inode 中容纳更多的扩展属性(如纳秒时间戳或 inode 版本),默认 inode 大小为 256 字节。Ext4 还支持快速扩展属性(fast extended attributes)和 inode 保留(inodes reservation)。
12. 持久预分配(Persistent preallocation)。

P2P 软件为了保证下载文件有足够的空间存放,常常会预先创建一个与所下载文件大小相同的空文件,以免未来的数小时或数天之内磁盘空间不足导致下载失败。Ext4 在文件系统层面实现了持久预分配并提供相应的 API(libc 中的 posix_fallocate()),比应用软件自己实现更有效率。
13. 默认启用 barrier。

磁盘上配有内部缓存,以便重新调整批量数据的写操作顺序,优化写入性能,因此文件系统必须在日志数据写入磁盘之后才能写 commit 记录,若 commit 记录写入在先,而日志有可能损坏,那么就会影响数据完整性。Ext4 默认启用 barrier,只有当 barrier 之前的数据全部写入磁盘,才能写 barrier 之后的数据。(可通过 "mount -o barrier=0" 命令禁用该特性。)



------------------------------------------------------------
http://www.360doc.com/content/11/1226/12/16531_175055973.shtml
 
      北京时间1月15日消息,据国外媒体报道,谷歌正在将EXT2文件系统转到新的EXT4(the fourth extended file system)文件系统。

来自谷歌的麦克-罗宾(Michael Rubin)透露消息说,谷歌正考虑将EXT2系统升级,最终确定为EXT4系统。

他表示,他们还考虑过XFS和JFS。结果显示,EXT4和XFS的表现类似,不过从EXT2升级到EXT4比升级到XFS容易。

而Btrfs太具实验性,谷歌目前不会考虑。

分析称,EXT4最初的表现非常好,但是在某些内核条件下表现力降低。比如在Linux2.6.32内核条件下,EXT4的表现力降低,而Btrfs的表现力提高。

同时,谷歌雇佣了知名的Linux内核开发者Ted Ts'o,他对EXT4文件系统的开发起到了主要作用。

EXT4介绍:http://baike.baidu.com/view/2220807.htm

XFS介绍:http://baike.baidu.com/view/1222157.htm

JFS介绍:http://baike.baidu.com/view/1494218.htm

--------------------------------------------------------------------------
http://q.sohu.com/forum/5/topic/5453380

    在Microsoft Winsows的世界,硬盘可以格式化成NTFS、FAT32、FATl6等等不同的格式。同樣地,在GNU/Linux底下也是有很多不同的文件系统格 式可供选择。当前在GNU/Linux底下,比较常用的有这几种格式:Ext2/Ext3、ReiserFS、XFS和JFS等数种。

  除了Ext2以外,其它几种都是日誌型文件系统。那什麼是日誌型文件系统呢? 就是系统会多用一些额外的空间纪錄硬盘的数据状态,因而在不正常开关机后,不需整个硬盘重新扫描来恢复正常的系统状态。

  ● Ext2:此为一非常老旧且不支持日誌系统的文件系统格式,早期的Linux玩家应该还记得吧,在每次不正常关机后,重新开机时错误检查会需要很久,而且在不正常关机下,常常会让你一次不见很多文件,现在已经很少人使用这类文件系统了。

   ● Ext3:为Ext2个改良版,所以Ext2可以直接升级成为Ext3而不必重新格式化,这也可以让旧的Ext2系统更加稳定。而主要和Ext2的差別是 增加了日誌系统(metadata),所以在不正常开关机后,可以迅速使系统恢复。而因为它与旧有的文件系统兼容,因此很多发行版都缺省使用Ext3。但 是在实际测试上,它的硬盘使用率其实不佳,大概只有真正空间的93%会被使用到,至於其它性能测试表现则为中等。在格式化与创建文件系统的时间也是其它文 件系统的数十倍。

  ● ReiserFS::採用日誌型的文件系统,为Hans Reiser所创,因此以他的名字来命名。技术上使用的是B*-tree为基础的文件系统,其特色为从处理大型文件到眾多小文件都可以用很高的效率处理。 实务上ReiserFS 在处理文件小於1k的小文件时,效率甚至可以比Ext3快約10倍,所以ReiserFS专长是在处理很多小文件。而在一般操作上,它的性能表现也有中上 的程度。

  ● XFS: />不错的表现。

  ● JFS::为全球最大计算机供应商IBM为AIX系列设计的日誌型文件系统,技术上使用的是B+-tree为基础的文件系统和ReiserFS使用 B*-tree不同。IBM AIX服务器在很多金融机构上使用,所以稳定性是沒话說的。而它最重要的特色是在处理文件I/O的时候是所有文件系统里面最不佔CPU资源的,也就是 CPU使用率最低。而且在这樣节省使用CPU的情況下,它的效率表现还有中上以上的程度。
出处:http://blog.sina.com.cn/s/blog_573860a90101032h.html
阅读(6716) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~