HDFS文件元数据信息管理模块

设计思想

HDFS中对数据存储的最小单位为block,HDFS会将其存储的大文件打散成很多64M大小的block，并将这些block分别存储在集群中datanode机器上。服务器namenode主要存储文件元数据信息（文件目录结构，具体文件由那些block组成），该部分主要涉及的关键对象为：INode,INodeFile,INodeDirectory,Block,BlockInfo,FSDirectory 

NameNode主要负责存储文件目录结构以及具体文件由那些block组成这些元数据基本信息,以上对象存在于namenode上。上述对象的主要关系如下。

 

 

INode

 

INode是抽象基类，从字面上能够了解到它表示一个文件属性目录结构中的一个节点，它包含的主要属性为： 

  //节点名称

  protected byte[] name; 

  //父节点

  protected INodeDirectory parent;

  //最后修改时间

  protected long modificationTime;

  //访问时间

  protected long accessTime;

  //访问权限（同linux 0777,0666 之类）

  private long permission;

 

INodeFile

 

INodeFile继承自INode，表示文件节点。 包含的主要属性如下：

 //该文件中包含的所有Block，这些对象并不包含实际的文件block内容，主要的属性为blocks，后续通过blockID和时间戳信息可以找到这些Block存在哪台datanode机器上，客户端直接与该datanode建立链接，请求这个BockID对应的Block中具体文件内容数据（后续再讲,该字段为关键字段）

 protected BlockInfo blocks[] = null;

 //block的复制个数

 protected short blockReplication;

 //缺省block大小

 protected long preferredBlockSize;

 

 INodeDirectory

 

INodeDirectory同样继承自INode，表示文件目录节点，主要包含的属性如下：

 //该文件目录下所有的子节点信息

 private List children;

 

 Block

 public class Block implements Writable, Comparable<Block>

 

 Block本身是一个抽象概念，就表示HDFS中一个最小存储单元，其主要包含的属性如下：

 //BlockID标识

 private long blockId;

 //这个Block包含多少字节数据

 private long numBytes;

 //一个时间戳,表示Block的版本

 private long generationStamp;

 

 注：这个Block对象只是一个抽象的概念（你可以理解为一个数据块的标识,一个存储单元的标识），这个对象并不包含实际Block数据。

 

Block信息的读取就是client通过网络传递一个序列化的block对象到DataNode,DataNode在本机中的读取这个Block对应的存储文件，返回给客户端。

Block是一个实现了Writable, Comparable<Block>的对象。说明Block对象可以进行序列化并通过网络进行传输，DataNode也可以通过HashMap的方式将Block与实际的存储文件进行对应关联。

 

 BlockInfo

 

 BlockInfo继承自Block,其包含的主要属性如下：

 //该Block所属的文件

 private INodeFile          inode;

 /**

     * This array contains triplets of references.

     * For each i-th data-node the block belongs to

     * triplets[3*i] is the reference to the DatanodeDescriptor

     * and triplets[3*i+1] and triplets[3*i+2] are references 

     * to the previous and the next blocks, respectively, in the 

     * list of blocks belonging to this data-node.

     */

 private Object[] triplets

 

 

triplets是一个关键字段。

通过triplets[3*i+1] 和 triplets[3*i+2]可以得到某台datanode机器上所有的block列表，triplets[3*i+1] 和triplets[3*i+2]为BlockInfo类型对象。

该项功能主要应用在DatanodeDescriptor实例的

private volatile BlockInfo blockList = null 这个字段中。

 

通过triplets[3*i]可以得到这个Block其他副本的所属datanode的位置,triplets[3*i]为DatanodeDescriptor类型对象

 

抓住BlockInfo就抓住了整个HDFS按Block进行文件分布式存储的关键。

BlockInfo信息中不仅包括了一个Block都存储在哪些DataNode上,还包含了某个具体datanode上存储的所有Block信息，以及该block属于哪一个INodeFile。用户需要读取文件时首先通过INodeFile得到这个文件所有的Block---INodeFile中的 BlockInfo[] getBlocks() 方法。通过BlockInfo又可以得到Block存储的DataNodeInfo列表。 用户就可以向得到的DataNode列表的机器发送读取Block具体数据的请求（这部分具体实现后面再讲）。

 

 

在系统运行过程中，上述关键对象主要存储在内存中，也就是说HDFS的Namenode有一个内存镜像，其中的内容就是以上对象组成的树形结构,也许有人会问，如果Namenode当机会出现什么问题呢？这个问题问得好：）（具体的解决办法后续会详细讲解，目前先提一下）

HDFS为了能够保证数据安全性，完整性，采用和数据库一样的容灾机制，记录数据操作行为日志：对应的功能对象为FSEditLog 。 

系统定时将内存中的文件系统结构镜像序列化到磁盘（FsImage）,并删除当前的EditLog 。 如果系统机器重启，Namenode会从镜像文件中读取目录结构信息，同时执行EditLog中记录的操作，用以恢复最新的内存镜像。 

 

FSDirectory 

FSdirectory的一个主要作用是就是上述所说的从镜像文件中读取目录结构信息，同时执行EditLog中记录的操作，用以恢复最新的内存镜像。

FSdirectory另一个主要作用就是操作INodeDirectory，INodeFile对象，对文件系统的目录，文件以及文件包含的Block进行操作。FSdirectory有一个关键属性：rootDir，这个对象是整个文件系统的根目录。

该对象涉及的主要方法如下：

 

void loadFSImage(Collection dataDirs, Collection editsDirs,StartupOption startOpt) throws IOException

 

boolean mkdirs(String src, PermissionStatus permissions,

boolean inheritPermission, long now)

 

Block addBlock(String path, INode[] inodes, Block block) throws IOException

 

private extends INode> T addChild(INode[] pathComponents, int pos,T child, long childDiskspace, boolean inheritPermission)

throws QuotaExceededException

 

 

INodeFileUnderConstruction

 

这个类继承自INodeFile,它的实例代表一个正在处于写入状态的文件，新文件的创建和文件的追加（文件追加目前HDFS支持不是很好）时都会使用到这个对象,INode有一个方法  boolean isUnderConstruction(),如果这个方法返回true,表示这个对象目前处于写入状态，可以将这个对象引用转化为INodeFileUnderConstruction。

当文件处于isUnderConstruction状态时，往往就和文件租约产生关联，因为文件的写入操作都会首先实现申请一个租约（租约有专门一章进行讲解）,从FSNameSystem的startFileInternal（）方法中的部分逻辑代码可以看出端倪。

//首先判断文件是否存在，并且处于文件写入状态

if (myFile != null && myFile.isUnderConstruction())

{

//转换文件为INodeFileUnderConstruction类型

INodeFileUnderConstruction pendingFile = 

(INodeFileUnderConstruction) myFile;

// If the file is under construction , then it must be in our

// leases. Find the appropriate lease record.

 

//如果文件处于写入状态一定有租约与之对应

Lease lease = 

leaseManager.getLease(new StringBytesWritable( holder));

 

下面我们分析一下INodeFileUnderConstruction的关键属性以及方法

INodeFile这个对象仅仅表示一个文件节点，它的大部分属性都是与BlockInfo相关的。

而INodeFileUnderConstruction就会有一些文件创建以及追加时必要的信息,,详细如下：

//这个属性表示当前文件的租约属主是哪次应用

StringBytesWritable clientName = null; // lease holder

StringBytesWritable clientMachine = null;

//client很可能也是datanode其中之一

DatanodeDescriptor clientNode = null; // if client is a cluster node too.

 

//这个属性主要应用于block的recover操作（该操作后续会详细描述）

private int primaryNodeIndex = -1; // the node working on lease recovery

//文件最后一个block需要写入的机器，这是很重要的属性，也是显而易见的，文件的追加写入一定是对最后一个Block进行操作

private DatanodeDescriptor[] targets = null; // locations for last block

private long lastRecoveryTime = 0;

 

下面看一个很重要的方法,这个方法后续会详细描述。

void assignPrimaryDatanode()

当文件写入过程中，很可能在某些datanode上写入失败，这就需要对block进行recover操作，而恢复操作中的主节点就是那些写入正常的datanode。