Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1943896
  • 博文数量: 1000
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 7921
  • 用 户 组: 普通用户
  • 注册时间: 2013-08-20 09:23
个人简介

storage R&D guy.

文章分类

全部博文(1000)

文章存档

2019年(5)

2017年(47)

2016年(38)

2015年(539)

2014年(193)

2013年(178)

分类: 服务器与存储

2015-01-12 21:06:09

 下图描述了在文件读过程中,client、NameNode和DataNode三者之间是如何互动的。

 

 

1.  client调用get方法得到HDFS文件系统的一个实例(DistributedFileSystem)。然后调用它的open方法。

 

2.  DistributedFileSystem通过RPC远程调用NameNode决定文件文件的block的位置信息。对于每一个bolck,NameNode返回block所在的DataNode(包括副本)的地址。DistributedFileSystem返回FSDataInputStream给client用来读数据。FSDataInputStream封装了DFSInputStream用于管理NameNode和DataNode的IO。

 

3.  client调用FSDataInputStream的read方法。

 

4.  DFSInputStream保存了block块所在的DataNode的地址信息。DFSInputStream连接第一个block的DataNode,read block数据,传回给client。

 

5.  当第一个block读完,DFSInputStream关掉与这个DataNode的连接。然后开始第二个block。

 

6.  当client读结束,调用FSDataInputStream的close方法。

 

在读的过程中,如果client和一个datanode通讯时出错,他会连接副本所在的datanode。这种client直接连接datanode读取数据的设计方法使HDFS可以同时相应很多client的同时并发。因为数据流量均匀的分布在所有的datanode上,NameNode只负责block的位置信息请求。

 

阅读(945) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~