localhost
node_1
node_2
node_3
3. 准备 测试文件
/data/app/hadoop-0.20.2/xl.txt 文件大小 7.5 M
5> ./bin/hadoop fs -put /data/app/hadoop-0.20.2/xl.txt liukaiyi/xl_1.txt (正常)
6> ./bin/hadoop fs -put /data/app/hadoop-0.20.2/xl.txt liukaiyi/xl_2.txt (正常)
7> ./bin/hadoop fs -put /data/app/hadoop-0.20.2/xl.txt liukaiyi/xl_3.txt (正常)
8. 文件大小分布 :
node_1 : 23M
node_2 : 16M
node_3 : 7.6M
localhost : 100k
9. 强行关闭 node_1 节点
> ./bin/hadoop fs -put /data/app/hadoop-0.20.2/xl.txt liukaiyi/xl_4.txt
异常输出 - put 不成功 :
....
10/08/11 19:49:08 ERROR hdfs.DFSClient: Exception closing file /user/hadoop/liukaiyi/xl_4.txt : java.io.IOException: Bad connect ack with firstBadLink 10.10.9.90:50010
....
#再次 put , 有警告 但 导入成功 ,分别 在 node_2 , node_3 节点上 成功存储
> ./bin/hadoop fs -put /data/app/hadoop-0.20.2/xl.txt liukaiyi/xl_5.txt
#再次 put , 无警告 导入成功 ,分别 在 node_2 , node_3 节点上 成功存储
> ./bin/hadoop fs -put /data/app/hadoop-0.20.2/xl.txt liukaiyi/xl_6.txt
# 2/3 节点正常 的 copy 操作 , 运行 成功 !
./bin/hadoop fs -copyToLocal liukaiyi/xl_6.txt /tmp/xl.txt
10. 再次 强行关闭 node_2 节点 (目前只有 node_3 节点活着)
> ./bin/hadoop fs -put /data/app/hadoop-0.20.2/xl.txt liukaiyi/xl_7.txt
异常输出 - put 不成功 :
> ./bin/hadoop fs -put /data/app/hadoop-0.20.2/xl.txt liukaiyi/xl_8.txt
异常输出 - put 不成功 :
# copy 成功
./bin/hadoop fs -copyToLocal liukaiyi/xl_3.txt /tmp/xl_3.txt
11. > ./bin/hadoop fs -ls liukaiyi/
[hadoop@localhost hadoop-0.20.2]$ ./bin/hadoop fs -ls liukaiyi/
Found 8 items
-rw-r--r-- 2 hadoop supergroup 7801685 2010-08-11 19:40 /user/hadoop/liukaiyi/xl_1.txt
-rw-r--r-- 2 hadoop supergroup 7801685 2010-08-11 19:43 /user/hadoop/liukaiyi/xl_2.txt
-rw-r--r-- 2 hadoop supergroup 7801685 2010-08-11 19:44 /user/hadoop/liukaiyi/xl_3.txt
-rw-r--r-- 2 hadoop supergroup 0 2010-08-11 19:47 /user/hadoop/liukaiyi/xl_4.txt
-rw-r--r-- 2 hadoop supergroup 7801685 2010-08-11 19:50 /user/hadoop/liukaiyi/xl_5.txt
-rw-r--r-- 2 hadoop supergroup 7801685 2010-08-11 19:52 /user/hadoop/liukaiyi/xl_6.txt
-rw-r--r-- 2 hadoop supergroup 0 2010-08-11 19:55 /user/hadoop/liukaiyi/xl_7.txt
-rw-r--r-- 2 hadoop supergroup 0 2010-08-11 19:58 /user/hadoop/liukaiyi/xl_8.txt