【转载】Yaffs 文件系统分析

1 Yaffs文件系统结构

1.1 简介

1.1.1 应用场合

        Yaffs（Yet Another Flash File System）文件系统是专门针对NAND闪存设计的嵌入式文件系统，目前有YAFFS和YAFFS2两个版本，两个版本的主要区别之一在于YAFFS2 能够更好的支持大容量的NAND FLASH芯片。
Yaffs文件系统有些类似于JFFS/JFFS2文件系统，与之不同的是JFFS1/2文件 系统最初是针对NOR FLASH的应用场合设计的，而NOR FLASH和NAND FLASH本质上有较大的区别，所以尽管JFFS1/2 文件系统也能应用于NAND FLASH，但由于它在内存占用和启动时间方面针对NOR的特性做了一些取舍，所以对NAND来说通常并不是最优的方案。

1.1.2 NOR和NAND的比较

        基本上NOR比较适合存储程序代码，其容量一般较小（比如小于32MB），价格较高，而NAND容量可达1GB以上，价格也相对便宜，适合存储数据。一般 来说，128MB以下容量NAND FLASH 芯片的一页大小为528字节，用来存放数据，另外每一页还有16字节的备用空间（SpareData,OOB），用来存储ECC校验/坏块标志等信息，再 由若干页组成一个块，通常一块为32页16K。
        与NOR相比，NAND不是完全可靠的，每块芯片出厂时都有一定比例的坏块存在，对数据的存取不是使用地址映射而是通过寄存器的操作，串行存取数据。

1.2 Yaffs文件系统数据在NAND上的存储方式

        Yaffs对文件系统上的所有内容（比如正常文件，目录，链接，设备文件等等）都统一当作文件来处理，每个文件都有一个页面专门存放文件头，文件头保存了 文件的模式、所有者id、组id、长度、文件名、Parent Object ID等信息。因为需要在一页内放下这些内容，所以对文件名的长度，符号链接对象的路径名等长度都有限制。
前面说到对于NAND FLASH上的每一页数据，都有额外的空间用来存储附加信息，通常NAND驱动只使用了这些空间的一部分，Yaffs正是利用了这部分空间中剩余的部分来 存储文件系统相关的内容。以512+16B为一个PAGE的NAND FLASH芯片为例,Yaffs文件系统数据的存储布局如下所示：

0..511	数据区域
512..515	YAFFS TAG
516	Data status byte
517	Block status byte 坏块标志位
518..519	YAFFS TAG
520..522	后256字节数据的ECC校验结果
523..524	YAFFS TAG
525..527	前256字节数据的ECC校验结果

        可以看到在这里YAFFS一共使用了8个BYTE用来存放文件系统相关的信息（yaffs_Tags）。这8个Byte的具体使用情况按顺序如下：

Bits	Content
20	ChunkID，该page在一个文件内的索引号，所以文件大小被限制在2^20 PAGE 即512Mb
2	2 bits serial number
10	ByteCount 该page内的有效字节数
18	ObjectID 对象ID号，用来唯一标示一个文件
12	Ecc, Yaffs_Tags本身的ECC校验和
2	Unused

        其中Serial Number在文件系统创建时都为0，以后每次写具有同一ObjectID和ChunkID的page的时候都加一，因为Yaffs在更新一个PAGE的 时候总是在一个新的物理Page上写入数据，再将原先的物理Page删除，所以该serial number可以在断电等特殊情况下，当新的page已经写入但老的page还没有被删除的时候用来识别正确的Page，保证数据的正确性。
        ObjectID号为18bit，所以文件的总数限制在256K即26万个左右。
        最后以上这些是针对Yaffs1而言，对于Yaffs2因为针对chunk size大于1k的NAND FLASH，在Tags各分量及总体尺寸上都做了修改，以便更快更好的处理大容量的NAND FLASH芯片。由于Tag尺寸的增大，在512+16B类型的NAND FLASH上就一个Trunk对应一个page的情况，目前就无法使用Yaffs2文件系统了。
        由于文件系统的基本组织信息保存在页面的备份空间中，因此，在文件系统加载时只需要扫描各个页面的备份空间，即可建立起整个文件系统的结构，而不需要像JFFS1/2 那样扫描整个介质，从而大大加快了文件系统的加载速度。

1.3 yaffs文件系统在内存中的组织方式

1.3.1 SupperBlock

        操作文件系统的第一步自然是取得SuperBlock了，Yaffs文件系统本身在NAND Flash上并不存在所谓的SuperBlock块，完全是在文件系统mount的过程中由read_super函数填充的，不过有意思的一点是，由于物 理上没有存储superblock块，所以NAND Flash上的yaffs文件系统本身没有存储filesystem的魔数（MagicNum），在内存中superblock里的s_magic参数也 是直接赋值的，所以存储在NAND FLASH上的任何文件系统都能被当作yaffs文件系统mount上来，只是数据都会被当作错误数据放在lost+found目录中，不知道这算不算 yaffs文件系统的一个bug。
        通常一个具体的文件系统在VFS的Super_block结构中除了通用的数据外，还有自己专用的数据，Yaffs文件系统的专用数据是一个yaffs_DeviceStruct结构，主要用来存储一些相关软硬件配置信息，相关函数指针和统计信息等。

1.3.2 文件在内存中的组织方式

        在mount过程执行read_super的过程中，Yaffs文件系统还需要将文件系统的目录结构在内存中建立起来。由于没有super块，所以需要扫 描Yaffs分区，根据从OOB中读取出的yaffs_tags信息判断出是文件头page还是数据page。再根据文件头page中的内容以及数据 page中的ObjectID/ChunkID/serial Number等信息在内存中为每个文件（Object）建立一个对应的yaffs_object对象。
        在yaffs_object结构中，主要包含了：

    Ø 如修改时间，用户ID，组ID等文件属性；
    Ø 用作yaffs文件系统维护用的各种标记位如脏（dirty）标记，删除标记等等；
    Ø 用作组织结构的，如指向父目录的Parent指针，指向同级目录中其他对象链表的siblings双向链表头结构
   
        此外根据Object类型的不同（目录，文件，链接），对应于某一具体类型的Object，在Yaffs_object中还有其各自专有的数据内容
    Ø 普通文件：文件尺寸，用于快速查找文件数据块的yaffs_Tnode 树的指针等
    Ø 目录：目录项内容双向链表头（children）
    Ø 链接：softlink的alias，hardlink对应的ObjectID

        除了对应于存储在NAND FLASH上的object而建立起来的yaffs_object以外，在read_super执行过程中还会建立一些虚拟对象（Fake Object），这些Fake Object在NAND FLASH上没有对应的物理实体，比如在建立文件目录结构的最初，yaffs会建立四个虚拟目录（Fake Directory）：rootDir, unlinkedDir, deleteDir, lostNfoundDir分别用作根目录，unlinked对象挂接的目录，delete对象挂接的目录，无效或零时数据块挂接的目录。
        通过创建这些yaffs_object，yaffs文件系统就能够将存储在NAND FLASH上数据系统的组织起来，在内存中维护一个完整的文件系统结构。

2 Yaffs文件系统集成及应用相关

2.1 系统移植

        这里所谓移植，就是在特定的软硬件环境里编译出yaffs文件系统模块了。目前最新的yaffs版本的代码里主要是按照2.6内核的方式写的Kconfig和Makefile，对于2.4内核来说，改起来也很简单，基本上，只需要：

    Ø 在内核中建立YAFFS目录fs/yaffs，并把下载的YAFFS代码复制到该目录下面。
    Ø 参考yaffs代码中的Kconfig文件，按照2.4内核的风格修改你自己的Config.in文件，使得可以配置YAFFS。
    Ø 修改fs/makefile，加入yaffs目录
    Ø 按照2.4内核的风格修改YAFFS目录中的Makefile文件。

        只是在配置YAFFS的时候需要注意一点，即使你的NAND FLASH是512+16B的，不需要使用YAFFS2，也需要将对2k page的NAND FLASH的支持这一项选上，否则编译无法通过（因为部分代码没有用CONFIG宏包起来），不知道这是不是我下载的这个版本的个别现象，还是对 Makefile还需要进一步的修改。
        此外就是最好把Lets Yaffs do its own ECC选上，理由后面会说，其他选项就无所谓了，主要是对性能的调整，看着选吧，按推荐配置好了，比如Turn off debug chunk erase check，这一项，我试验的结果选上后平均可以提高20-30%左右的擦写速度。

2.2 Yaffs文件系统的制作和使用

2.2.1 通过Yaffs Image文件制作yaffs文件系统

        Yaffs源代码包的utils目录下包含了mkyaffsimage/mkyaffs2image的代码，简单的修改一下Makefile里的内核路径就能编译出mkyaffsimage/mkyaffs2image工具。
        运行mkyaffsimage dir imagename可以制作出yaffs1文件系统的镜像。
        但是，需要注意的是，制作出来的yaffs image文件与通常的文件系统的image文件不同，因为在image文件里除了以512字节为单位的一个page的data数据外，同时紧跟在后还包 括了16字节为单位的NAND备份数据区（OOB）的数据。所以实际上是以528个字节为单位的。就是因为包含了这额外的16字节/page的数据，所以 基本上常规办法如dd，或者通常的下载其它类型image的工具就无法正常下载yaffs image了，需要修改你所使用的下载工具的代码，使得它能将yaffs image中的这些额外数据也写入NAND FLASH OOB中。
        这里还有一点需要注意的是，通过mkyaffsimage制做出来的image其OOB中也包含它自己计算的ECC校验数据，其校验算法有可能和MTD NAND驱动的校验算法不同，如果在内核中由MTD来处理ECC，会造成MTD认为所有的page都校验错误。所以，这也是我前面说最好把Lets Yaffs do its own ECC选上的原因，同时，要把MTD NAND驱动中的ECC校验关闭。

2.2.2 其它方式制作yaffs文件系统

        如果不考虑产线批量下载的话，也可以通过mount拷贝的方式准备yaffs文件系统。用flash_eraseall将NAND FLASH分区擦除，然后做为yaffs分区直接mount上来，将文件系统的内容拷贝上去就可以了。这可能是在真正的NAND FLASH上试验yaffs文件系统最简单的方式了。

2.2.3 没有相应的NAND设备时如何测试yaffs文件系统

        没有相应的NAND FLASH设备包含两种情况：

    Ø 硬件上没有NAND FLASH，开发板上没有或者想在主机环境中测试yaffs文件系统
    Ø 没有合适的page size的NAND FLASH芯片，比如板上NAND FLASH芯片为512+16的格式，但是想要试验Yaffs2文件系统。
        Yaffs提供了两种用来在这种情况下测试yaffs文件系统的途径。

2.2.3.1 Nandemul

        Yaffs source包里包含了mtdemul目录，Yaffs2中该目录下的文件主要是Nandemul2k.c用来模拟2K page size的NAND FLASH。在Yaffs中则是Nandemul.c用来模拟512字节page size的NAND FLASH。
        稍微修改一下Makeflie将编译出来的模块插入内核，将在/dev/mtd /dev/mtdblock目录下创建一个新的MTD设备。然后就可以将该设备当作一个物理的MTD NAND设备分区进行相关的操作，可以在上面创建yaffs文件系统，mount umount等等。这种方法不仅适用于yaffs文件系统，同样也适用于其它可用于NAND设备的文件系统。

2.2.3.2 Yaffsram

        根据yaffs 官方文档的描述，通过mount –t yaffsram none /mountpoint 可以在内存中建立一个yaffs分区，这有些类似于ramfs。不过，在试验最新版本的Yaffs2文件系统时，该功能并不可用，只有Yaffs1文件系 统的代码包里包含了相关的代码。