阿里巴巴是个快乐的青年
全部博文(291)
发布时间:2014-02-03 20:24:35
一、文件读取剖析 为了了解客户端及与之交互的HDFS、namenode和datanode之间的数据流是什么样的,可以参考下图,该图显示了在读取文件时一些时间的主要顺序:图1 客户端读取HDFS中的数据 客户端通过调用FileSyste对象的open()方法来打开.........【阅读全文】
发布时间:2014-02-03 10:46:33
Hadoop有一个抽象的文件系统概念,HDFS只是其中一个实现。Java抽象类org.apache.hadoop.fs.FileSystem定义了Hadoop中的一个文件系统接口,并且该抽象类有几个具体的实现。Hadoop对文件系统提供了很多接口,它一般使用URI方案来选取合适的文件系统实例进行交互,比如:要想列出本地文.........【阅读全文】
发布时间:2013-11-16 13:49:28
一、适应场景 HDFS是Hadoop的分布式文件系统,即Hadoop Distributed Filesystem。 HDFS以流式数据访问模式来存储超大文件,运行于商用硬件集群上。这句话信息量太大,分解开来就是HDFS适合如下场景: .........【阅读全文】