hadoop使用笔记

下面提到的操作都是基于我的这个hadoop安装方法的：
http://blog.chinaunix.net/u3/99156/showart.php?id=2156593

按照Hadoop官网中的Quick start操作(这里http://hadoop.apache.org/common/docs/current/quickstart.html)启动hadoop。

1.Hadoop默认创建的dfs文件系统在哪里？
/tmp/hadoop-xxxxx/,每次重启系统之后，这个文件系统就不存在了，正在研究如何指定dfs的目录。

2.Hadoop dfs文件操作。
具体参数请看bin/hadoop dfs中的说明，这里只作简单的介绍:

-put localfile dst

上传，上传之后文件名不在是本地的文件名，但是内容是没有变的，也就是内容没有经过压缩(我测试上传的文件很小，不排出在大文件的情况下会出现压缩或文件分片的情况)。
有人回答：当从本地向hdfs复制文件时，且本地文件非常大，hdfs是如何存储它的。从文件头开始均匀按块划分，各块均衡地分布存储到集群的各节点上，默认每块大小为64M，而且是完全地存储在DataNode节点上，以文件的形式存在.
我测试的文件存储在/tmp/hadoop-xxxx/dfs/data/current/blk_xxxxxxxxxx

-get dfssrc localdst

下载

-ls

跟bash一样，这时列出的名字即是上传之前的localfile的名字，说明很可能在dfs存储中保存了一个本地文件名字到dfs文件名字的映射。