Chinaunix首页 | 论坛 | 博客
  • 博客访问: 652883
  • 博文数量: 149
  • 博客积分: 3901
  • 博客等级: 中校
  • 技术积分: 1558
  • 用 户 组: 普通用户
  • 注册时间: 2009-02-16 14:33
文章分类

全部博文(149)

文章存档

2014年(2)

2013年(10)

2012年(32)

2011年(21)

2010年(84)

分类: 服务器与存储

2010-08-12 12:20:19


1. 配置文件 conf/hdfs-site.xml :
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>




2. conf/slaves 文件
localhost                                                               
node_1         
node_2                            
node_3


3. 准备 测试文件   
/data/app/hadoop-0.20.2/xl.txt 文件大小  7.5 M

5> ./bin/hadoop  fs -put /data/app/hadoop-0.20.2/xl.txt liukaiyi/xl_1.txt (正常)
6> ./bin/hadoop  fs -put /data/app/hadoop-0.20.2/xl.txt liukaiyi/xl_2.txt (正常)
7> ./bin/hadoop  fs -put /data/app/hadoop-0.20.2/xl.txt liukaiyi/xl_3.txt (正常)


8. 文件大小分布 :
node_1 :  23M
node_2 :  16M
node_3 :  7.6M
localhost : 100k



9. 强行关闭 node_1 节点 
> ./bin/hadoop  fs -put /data/app/hadoop-0.20.2/xl.txt liukaiyi/xl_4.txt 
异常输出 - put  不成功 : 
....
10/08/11 19:49:08 ERROR hdfs.DFSClient: Exception closing file /user/hadoop/liukaiyi/xl_4.txt : java.io.IOException: Bad connect ack with firstBadLink 10.10.9.90:50010
....

#再次 put , 有警告 但 导入成功 ,分别  在 node_2 , node_3 节点上  成功存储
> ./bin/hadoop  fs -put /data/app/hadoop-0.20.2/xl.txt liukaiyi/xl_5.txt

#再次 put , 无警告 导入成功 ,分别  在 node_2 , node_3 节点上  成功存储
> ./bin/hadoop  fs -put /data/app/hadoop-0.20.2/xl.txt liukaiyi/xl_6.txt

# 2/3 节点正常  的 copy 操作 , 运行 成功 !
./bin/hadoop  fs -copyToLocal  liukaiyi/xl_6.txt /tmp/xl.txt



10. 再次 强行关闭 node_2 节点 (目前只有  node_3 节点活着)
> ./bin/hadoop  fs -put /data/app/hadoop-0.20.2/xl.txt liukaiyi/xl_7.txt
异常输出 - put  不成功 : 

> ./bin/hadoop  fs -put /data/app/hadoop-0.20.2/xl.txt liukaiyi/xl_8.txt
异常输出 - put  不成功 : 

# copy 成功
./bin/hadoop  fs -copyToLocal  liukaiyi/xl_3.txt /tmp/xl_3.txt



11. > ./bin/hadoop  fs -ls liukaiyi/
[hadoop@localhost hadoop-0.20.2]$ ./bin/hadoop  fs -ls liukaiyi/
Found 8 items
-rw-r--r--   2 hadoop supergroup    7801685 2010-08-11 19:40 /user/hadoop/liukaiyi/xl_1.txt
-rw-r--r--   2 hadoop supergroup    7801685 2010-08-11 19:43 /user/hadoop/liukaiyi/xl_2.txt
-rw-r--r--   2 hadoop supergroup    7801685 2010-08-11 19:44 /user/hadoop/liukaiyi/xl_3.txt
-rw-r--r--   2 hadoop supergroup          0 2010-08-11 19:47 /user/hadoop/liukaiyi/xl_4.txt
-rw-r--r--   2 hadoop supergroup    7801685 2010-08-11 19:50 /user/hadoop/liukaiyi/xl_5.txt
-rw-r--r--   2 hadoop supergroup    7801685 2010-08-11 19:52 /user/hadoop/liukaiyi/xl_6.txt
-rw-r--r--   2 hadoop supergroup          0 2010-08-11 19:55 /user/hadoop/liukaiyi/xl_7.txt
-rw-r--r--   2 hadoop supergroup          0 2010-08-11 19:58 /user/hadoop/liukaiyi/xl_8.txt







阅读(1161) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~