Chinaunix首页 | 论坛 | 博客
  • 博客访问: 27196
  • 博文数量: 4
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 26
  • 用 户 组: 普通用户
  • 注册时间: 2013-07-26 11:22
个人简介

弦上故人来,指底乱红飞 。

文章分类
文章存档

2014年(4)

我的朋友

发布时间:2014-03-19 14:27:27

Hadoop是一个基于JAVA的支持数据密集型分布式应用的分布式文件系统。它能够保证应用可以在上千个低成本商用硬件存储结点上处理PB级的数据。Hadoop是Apache开源项目,Yahoo支持这个项目并在自己的web搜索和商业广告业务上使用它。Hadoop开发类似于Google的MapReduce和Google文件系统的技术。图 5.9为Hadoop的整体结构。.........【阅读全文】

阅读(2259) | 评论(0) | 转发(0)

发布时间:2014-03-19 14:17:10

读文件   读文件时内部工作机制参看下图:客户端通过调用FileSystem对象(对应于HDFS文件系统,调用DistributedFileSystem对象)的open()方法来打开文件(也即图中的第一步),RPC(NameNode来得到此文件最开始几个datanode的,block的位置信息,这些信息所需的带宽是很少的,这样便有效的避免了单点.........【阅读全文】

阅读(1925) | 评论(0) | 转发(0)

发布时间:2014-03-19 11:17:17

1 概述本文档目的在于对namenode中各种关键的数据结构进行剖析和解释,以方便更好的对namenode的各种处理逻辑和代码结构进行理解。其中包括对namenode中Namenode和FSNameSystem的程序代码结构,FSDirectory,BlocksMap, CorruptReplicationMap,excessReplicateMap, UnderReplicatedBlocks,PendingRepl.........【阅读全文】

阅读(2071) | 评论(0) | 转发(0)

发布时间:2014-03-19 09:46:30

From:http://www.cnblogs.com/beanmoon/archive/2012/12/08/2809315.html当某个数据集大大小超出单个物理机的存储能力时,我们可以考虑使用集群。管理跨网络机器存储的文件系统叫做分布式文件系统(Distributed FileSystem)。随着多节点的引入,相应的问题也就出现了,例如其中最重要的一个问题就是如何保证在某个节点.........【阅读全文】

阅读(1657) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册