ext3/ext4文件系统大分区支持

ext3/ext4文件系统大分区支持  

2011-02-28 12:50:15|  分类： rh131笔记 |  标签：文件系统  ext3  ext4  日志  数据   |字号大中小 

很长一段时间以来，ext3是很多linux发行版默认的文件系统，目前ext4已经正式发布，已经有发行版开始使用ext4作为默认的文件系统了，其实最初的时候ext4是作为ext3的扩展，但是为了保证ext3的稳定性等原因，很多人反对直接对ext3进行扩展，所以单独作为了ext4项目。

         ext3还是使用15个inode来查找数据块，前12个为直接数据块，直接指向存储数据的数据块，接下来分别为一级间接块，二级间接块，三级间接块，跟下图一致：

其中point本来也是数据块，现在拿来做数据块的索引用，其中ext3的头文件定义为： __u32 i_block[EXT3_N_BLOCKS];/* Pointers to blocks */，所以可以计算ext3文件系统的极限：
最大分区：
         因为定义的是无符号32位数，所以可能定位的block范围为2^32，也就是4G，如果一个block大小为4KB，所以为4G * 4KB = 16TB
最大文件：
         前面直接指向12个数据块，一级间接块最大为block size / 4，block size就是数据块的大小，因为一个索引是4个字节，所以除以4，这样计算下来，最大的文件可以使用的总块数为:12 + (block size/4) + (block size/4)^2 + (block size/4)^3，如果block size大小为4K，则为(12 + 2^10 + 2^20 + 2^30) * 2^12 约等于4T。

         为了突破ext3这个大小限制，ext4使用了48位的数据块索引空间，同时使用了如下结构代替inode索引的方式：
struct ext3_extent {
__u32 ee_block; /* first logical block extent covers */
__u16 ee_len;   /* number of blocks covered by extent */
__u16 ee_start_hi; /* high 16 bits of physical block */
__u32 ee_start; /* low 32 bigs of physical block */
};
这样查找数据块的时候就不是每个块建立一个索引，而且使用连续的数据块，也就是分别指示起始位置，以及连续的块数，这样在大文件的时候，磁盘io效率以及查找数据块效率上都有很大的提高，所以ext4的文件系统也比ext3出色。因为使用了48位的索引空间，所以在4KB块大小的情况下，文件系统的极限是2^48 * 4KB = 1EB，不过，目前由于工具的限制，只能使用16TB的分区。

不过是自己的理解，也欢迎朋友指正。

硬盘驱动器上的空间划分（或者说分区）为多个分区。分区不能重叠，未分配给分区的空间称为剩余空间。分区名的形式类似于 /dev/hda1、/dev/hda2、/dev/hda3、/dev/sda1 等。在未使用 IDE 驱动器热插拔支持的系统上，IDE 驱动器最多支持 63 个分区。通过热插拔支持的 SCSI 驱动器、USB 驱动器和 IDE 驱动器最多可有 15 个分区。一个分区通常会分配为整数个柱面（柱面概念可能存在不准确之处）。

http://www.ibm.com/developerworks/cn/linux/l-lpic1-v3-102-1/?S_TACT=105AGX52&S_CMP=tec-ccid

EXT3与EXT4的主要区别

Linux kernel 自 2.6.28 开始正式支持新的文件系统 Ext4。 Ext4 是 Ext3 的改进版，修改了 Ext3 中部分重要的数据结构，而不仅仅像 Ext3 对 Ext2 那样，只是增加了一个日志功能而已。Ext4 可以提供更佳的性能和可靠性，还有更为丰富的功能：

1. 与 Ext3 兼容。 执行若干条命令，就能从 Ext3 在线迁移到 Ext4，而无须重新格式化磁盘或重新安装系统。原有 Ext3 数据结构照样保留，Ext4 作用于新数据，当然，整个文件系统因此也就获得了 Ext4 所支持的更大容量。

2. 更大的文件系统和更大的文件。 较之 Ext3 目前所支持的最大 16TB 文件系统和最大 2TB 文件，Ext4 分别支持 1EB（1,048,576TB， 1EB=1024PB， 1PB=1024TB）的文件系统，以及 16TB 的文件。

3. 无限数量的子目录。 Ext3 目前只支持 32,000 个子目录，而 Ext4 支持无限数量的子目录。

4. Extents。 Ext3 采用间接块映射，当操作大文件时，效率极其低下。比如一个 100MB 大小的文件，在 Ext3 中要建立 25,600 个数据块（每个数据块大小为 4KB）的映射表。而 Ext4 引入了现代文件系统中流行的 extents 概念，每个 extent 为一组连续的数据块，上述文件则表示为“该文件数据保存在接下来的 25,600 个数据块中”，提高了不少效率。

5. 多块分配。 当 写入数据到 Ext3 文件系统中时，Ext3 的数据块分配器每次只能分配一个 4KB 的块，写一个 100MB 文件就要调用 25,600 次数据块分配器，而 Ext4 的多块分配器“multiblock allocator”（mballoc） 支持一次调用分配多个数据块。

6. 延迟分配。 Ext3 的数据块分配策略是尽快分配，而 Ext4 和其它现代文件操作系统的策略是尽可能地延迟分配，直到文件在 cache 中写完才开始分配数据块并写入磁盘，这样就能优化整个文件的数据块分配，与前两种特性搭配起来可以显著提升性能。

7. 快速 fsck。 以前执行 fsck 第一步就会很慢，因为它要检查所有的 inode，现在 Ext4 给每个组的 inode 表中都添加了一份未使用 inode 的列表，今后 fsck Ext4 文件系统就可以跳过它们而只去检查那些在用的 inode 了。

8. 日志校验。 日志是最常用的部分，也极易导致磁盘硬件故障，而从损坏的日志中恢复数据会导致更多的数据损坏。Ext4 的日志校验功能可以很方便地判断日志数据是否损坏，而且它将 Ext3 的两阶段日志机制合并成一个阶段，在增加安全性的同时提高了性能。

9. “无日志”（No Journaling）模式。 日志总归有一些开销，Ext4 允许关闭日志，以便某些有特殊需求的用户可以借此提升性能。

10. 在线碎片整理。 尽管延迟分配、多块分配和 extents 能有效减少文件系统碎片，但碎片还是不可避免会产生。Ext4 支持在线碎片整理，并将提供 e4defrag 工具进行个别文件或整个文件系统的碎片整理。

11. inode 相关特性。 Ext4 支持更大的 inode，较之 Ext3 默认的 inode 大小 128 字节，Ext4 为了在 inode 中容纳更多的扩展属性（如纳秒时间戳或 inode 版本），默认 inode 大小为 256 字节。Ext4 还支持快速扩展属性（fast extended attributes）和 inode 保留（inodes reservation）。

12. 持久预分配（Persistent preallocation）。 P2P 软件为了保证下载文件有足够的空间存放，常常会预先创建一个与所下载文件大小相同的空文件，以免未来的数小时或数天之内磁盘空间不足导致下载失败。 Ext4 在文件系统层面实现了持久预分配并提供相应的 API（libc 中的 posix_fallocate()），比应用软件自己实现更有效率。

13. 默认启用 barrier。 磁 盘上配有内部缓存，以便重新调整批量数据的写操作顺序，优化写入性能，因此文件系统必须在日志数据写入磁盘之后才能写 commit 记录，若 commit 记录写入在先，而日志有可能损坏，那么就会影响数据完整性。Ext4 默认启用 barrier，只有当 barrier 之前的数据全部写入磁盘，才能写 barrier 之后的数据。（可通过 “mount -o barrier=0″ 命令禁用该特性。）

Ext3 和 ext4 文件系统在线调整大小内幕
http://www.ibm.com/developerworks/cn/linux/l-cn-ext4resize/

 

 

ext4-howto中文

 

目前网络中充斥着各种Linux文件系统，用户很难在不了解这么多种文件系统的情况下从中做出一个好的并且适合自己选择，下面的内容转自网站，由于年代久远，原文链接已丢失，并且我在其中加入了EXT4的介绍。熟悉文件系统特性并选择一个合适的文件系统有利于充分利用磁盘物理属性。

1、ext

ext 是第一个专门为 Linux 的文件系统类型,叫做扩展文件系统。它在 1992 年 4 月完成的。它为 Linux 的发展取得了重要作用。但是在性能和兼容性上存在许多缺陷。现在已经很少使用了。

2、ext2

ext2 是为解决 ext 文件系统的缺陷而设计的可扩展的高性能的文件系统。又被称为二级扩展文件系统。它是在 1993 年发布的,设计者是 Rey Card。ext2 是 Linux 文件系统类型中使用最多的格式。并且在速度和 CPU 利用率上较突出,是 GNU/Linux 系统中标准的文件系统,其特点为存取文件的性能极好,对于中小型的文件更显示出优势,这主要得利于其簇快取层的优良设计。2000 年以前几乎所有的 Linux 发行版都用 ext2 作为默认的文件系统。

3、ext3

ext3 是由开放资源社区开发的日志文件系统,主要开发人员是 Stephen tweedie。ext3被设计成是 ext2 的升级版本,尽可能地方便用户从 ext2fs 向 ext3fs 迁移。ext3 在 ext2的基础上加入了记录元数据的日志功能,努力保持向前和向后的兼容性。这个文件系统被称为 ext2 的下一个版本。也就是在保有目前 ext2 的格式之下再加上日志功能。ext3 是一种日志式文件系统。日志式文件系统的优越性在于:由于文件系统都有快取层参与运作,如不使用时必须将文件系统卸下,以便将快取层的资料写回磁盘中。因此每当系统要关机时,必须将其所有的文件系统全部卸下后才能进行关机。如果在文件系统尚未卸下前就关机 (如停电) 时,下次重开机后会造成文件系统的资料不一致,故这时必须做文件系统的重整工作,将不一致与错误的地方修复。

4、ext4

ext4 是一种针对 ext3 系统的扩展日志式文件系统,是 专 门为 Linux 开发的原始的扩展文件系统(ext 或 extfs)的第四版。它 具有更高的兼容性并且消 除了存储限制,从 ext3升级至 ext4 不需要格式化分区。它的子目录具有可伸缩性。ext4 使用了一个多块分配来在一次调用中分配很多块。替换掉每次分配一个块,减少系统开销。在延时分配和 extends 上十分有用。而延迟分配是一个性能特性(它不修改磁盘格式)。相对于传统文件系统(例如ext3、reiser3、etc)所做的立刻分配块提供了更好的性能。

5、JFS

jsf 提供了基于日志的字节级文件系统,该文件系统是为面向事务的高性能系统而开发的。jsf 的开发者包括 AIX 的 jsf 的主要开发者。在 AIX 上,jfs 已经经受住了考验。它是可靠、快速和容易使用的。2000 年 2 月,ibm 宣布在一个开放资源许可证下,移植 linux 版的 JSF 文件系统。 JSFs 也是一个有大量用户安装使用的企业级文件系统。它具有可伸缩性和健壮性,与非日志文件系统相比,它的优点是其快速重启能力:Jfs 能够在几秒或几分钟内就把文件系统恢复到一致状态。虽然 jsf 主要是为满足服务器的高吞吐量和可靠性需求而设计的,jsf 还可用于想得到高性能和可靠性的客户机配置因为在系统崩溃时,jsf 能提供快速文件系统重启时间,所以它是因特网文件服务器的关键技术。使用数据库日志处理技术,jsf 能在几秒或几分钟之内把文件系统恢复到一致状态。而在非日志文件系统中,文件恢复可能花费几小时或几天。

6、ReiserFS

ReiserFS 的第一次公开亮相是在 1997 年 7 月 23 日,Hans Reiser 把他的基于平衡树结构的 ReiserFS 文件系统在网上公布。ReiserFS 3.6.x 是由 Hans Reiser 和他的在 Namesys的开发组共同开发设计的。Reiserfs 被看作是一个更加激进和现代的文件系统。传统的UNIX 文件系统是按盘块来进行空间分配的,对于目录和文件等的查找使用了简单的线性查找。这些设计在当时是合适的,但随着磁盘容量的增大和应用需求的增加,传统文件系统在存储效率,速度和功能上已显落后。 ReiserFS 一个最受人批评的缺点是每升级一个版本,都将要将磁盘重新格式化一次。

7、xfs

xfs 是一种非常优秀的日志文件系统,它是 SGI 公司设计的。xfs 被称为业界最先进的、最具可升级性的文件系统技术。SGI 的 xfs 可为 linux 和开放资源社区带来的新特性有:可升级性:xfs 被设计成可升级,以面对大多数的存储容量和 i/o 存储需求,可处理大型文件和包含巨大数量文件的大型目录,满足二十一世纪快速增长的磁盘需求。xfs 有能力动态地为文件分配索引空间,使系统形成高效支持大数量文件的能力。优秀的 i/o 性能:典型的现代服务器使用大型的条带式磁盘阵列,以提供达数 gb/秒的总带宽。xfs 可以很好地满足 I/O 请求的大小和并发 I/O 请求的数量。xfs 可作为 root 文件系统,并被 lilo 支持.在 NFS 服务器上使用也没问题.支持软件磁盘阵列(RAID)和虚拟集群(LVM)。由于 xfs 比较复杂,实施起来有一些难度,所以目前 xfs 主要应用于 

特性	ext2	ext3	ReiserFS3.6（不受 Oracle 支持）
最大分区大小	4TB	4TB	16TB
最大文件大小	2GB-4GB	2GB-4GB	8TB
块大小	1KB-4KB	1KB-4KB	只有 4KB
日志功能	无	是	有
崩溃后重新启动	慢	快	非常快
用于恢复清除文件的工具	有	有	无
崩溃后数据的状态	良好	非常好	一般
ACL 支持	有	有	无
稳定性	优秀	良好	良好