李俊组-第四次阶段报告

Hadoop 云计算技术介绍

小组成员：李俊，张文彬，胡凡，赵宇航，吴喆

继上周对Hadoop技术的初步了解后，本周将对Hadoop的两大引擎之一——HDFS进行详细的介绍与分析。

一、HDFS的基本概念

1.1、数据块(block)
Hadoop 学习总结中HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。
和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。
不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。

1.2、元数据节点(Namenode)和数据节点(datanode)
元数据节点用来管理文件系统的命名空间
其将所有的文件和文件夹的元数据保存在一个文件系统树中。
这些信息也会在硬盘上保存成以下文件：命名空间镜像(namespace image)及修改日志(edit log)
其还保存了一个文件包括哪些数据块，分布在哪些数据节点上。然而这些信息并不存储在硬盘上，而是在系统启动的时候从数据节点收集而成的。
数据节点是文件系统中真正存储数据的地方。

客户端(client)或者元数据信息(namenode)可以向数据节点请求写入或者读出数据块。
其周期性的向元数据节点回报其存储的数据块信息。
从元数据节点(secondary namenode)
从元数据节点并不是元数据节点出现问题时候的备用节点，它和元数据节点负责不同的事情。
其主要功能就是周期性将元数据节点的命名空间镜像文件和修改日志合并，以防日志文件过大。这点在下面会相信叙述。
合并过后的命名空间镜像文件也在从元数据节点保存了一份，以防元数据节点失败的时候，可以恢复。

二、数据流(data flow)

2.1、读文件的过程

首先看一下Hadoop 学习总结中关于数据流读取文件过程介绍。客户端(client)用FileSystem的open()函数打开文件
DistributedFileSystem用RPC调用元数据节点，得到文件的数据块信息。
对于每一个数据块，元数据节点返回保存数据块的数据节点的地址。
DistributedFileSystem返回FSDataInputStream给客户端，用来读取数据。

客户端调用stream的read()函数开始读取数据。
DFSInputStream连接保存此文件第一个数据块的最近的数据节点。
Data从数据节点读到客户端(client)
当此数据块读取完毕时，DFSInputStream关闭和此数据节点的连接，然后连接此文件下一个数据块的最近的数据节点。
当客户端读取完毕数据的时候，调用FSDataInputStream的close函数。
在读取数据的过程中，如果客户端在与数据节点通信出现错误，则尝试连接包含此数据块的下一个数据节点。
失败的数据节点将被记录，以后不再连接。

2.2、写文件的过程

再来看一下Hadoop 学习总结中关于数据流写文件的过程。客户端调用create()来创建文件
istributedFileSystem用RPC调用元数据节点，在文件系统的命名空间中创建一个新的文件。
元数据节点首先确定文件原来不存在，并且客户端有创建文件的权限，然后创建新文件。
DistributedFileSystem返回DFSOutputStream，客户端用于写数据。

客户端开始写入数据，DFSOutputStream将数据分成块，写入data queue。
Data queue由Data Streamer读取，并通知元数据节点分配数据节点，用来存储数据块(每块默认复制3块)。分配的数据节点放在一个pipeline里。
Data Streamer将数据块写入pipeline中的第一个数据节点。第一个数据节点将数据块发送给第二个数据节点。第二个数据节点将数据发送给第三个数据节点。
DFSOutputStream为发出去的数据块保存了ack queue，等待pipeline中的数据节点告知数据已经写入成功。

如果数据节点在写入的过程中失败：
关闭pipeline，将ack queue中的数据块放入data queue的开始。
当前的数据块在已经写入的数据节点中被元数据节点赋予新的标示，则错误节点重启后能够察觉其数据块是过时的，会被删除。
失败的数据节点从pipeline中移除，另外的数据块则写入pipeline中的另外两个数据节点。
元数据节点则被通知此数据块是复制块数不足，将来会再创建第三份备份。
当客户端结束写入数据，则调用stream的close函数。此操作将所有的数据块写入pipeline中的数据节点，并等待ack queue返回成功。最后通知元数据节点写入完毕。本周关于Hadoop 学习总结中HDFS概念介绍完毕。

个人总结

李俊：

这周主要对HDFS进行了调查和研究，通过上周对Hadoop云计算技术的介绍，对其中的关键技术并不是太理解，尤其是其中的HDFS和MapReduce。通过这次对HDFS的概念介绍，使我对HDFS的概念更进一步的了解了。让我知道什么是HDFS，什么是数据块，什么是namenode，什么是datanode以及HDFS的工作流程是什么。

 

赵宇航：

通过组长的的指导和任务的分配，落实上周对Hadoop云计算技术的介绍，解决其中不太了解的内容，在对HDFS了解和查询资料的同时了解其相关更加详细的概念，并开始着手准备下一步对MapReduce的学习和探究。

 

张文彬：

这次我们研究的是 Hadoop的基本架构的一些问题。及HDFS，MapReduce 其实也就是类似资源管理器来管理云端的文件 对这种，数据块，存储块间的映射很有感触

还有 HDFS竟然也是基于TCp/Ip协议,呵呵，总体来说越来越对我们研究的感兴趣了

 

胡凡:

通过对HDFS和数据块的了解和相关资料的查询,也加深了对于Hadoop的了解.解决了一些上周留下的疑惑,对接下来的研究越来越有信心了.呵呵,总之,再接再厉!

 

吴喆:

Hadoop云计算在过去的时间里是一个我从未听到过的名词，9周的学习时间使我慢慢的了解到什么是云计算，以及它的作用是什么，也渐渐理解了它在实际应用中的重要性。实践中遇到的种种问题，在经过同学的帮助下，以及从电脑上查阅的信息一一得到了及时的解决。同时也对以往不扎实的专业知识进行了进一步的巩固股。再接下来的时间里，完善自己的实践作业，是我的主要目标。不仅如此，学好这一门课也是我努力的方向。

 

下周计划：由于Hadoop云计算的概念比较难理解，下周将对HDFS的上一层引擎——MapReduce进行详细的学习与探讨。