Chinaunix首页 | 论坛 | 博客
  • 博客访问: 10197584
  • 博文数量: 1669
  • 博客积分: 16831
  • 博客等级: 上将
  • 技术积分: 12594
  • 用 户 组: 普通用户
  • 注册时间: 2011-02-25 07:23
个人简介

柔中带刚,刚中带柔,淫荡中富含柔和,刚猛中荡漾风骚,无坚不摧,无孔不入!

文章分类

全部博文(1669)

文章存档

2023年(4)

2022年(1)

2021年(10)

2020年(24)

2019年(4)

2018年(19)

2017年(66)

2016年(60)

2015年(49)

2014年(201)

2013年(221)

2012年(638)

2011年(372)

分类: HADOOP

2013-11-28 15:21:41

Hadoop添加节点datanode 
浏览(2607)|评论(0)   交流分类:Java|笔记分类: hadoop 

1.部署hadoop

和普通的datanode一样。安装jdk,ssh

2.修改host

和普通的datanode一样。添加namenode的ip

3.修改namenode的配置文件conf/slaves

添加新增节点的ip或host

4.在新节点的机器上,启动服务

[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker

5.均衡block

[root@slave-004 hadoop]# ./bin/start-balancer.sh

这个会非常耗时 
1)如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低mapred的工作效率 
2)设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长 
[root@slave-004 hadoop]# ./bin/start-balancer.sh -threshold 5 
3)设置balance的带宽,默认只有1M/s

复制代码
<property> <name>dfs.balance.bandwidthPerSecname> <value>1048576value> <description> Specifies the maximum amount of bandwidth that each datanode can utilize for the balancing purpose in term of the number of bytes per second. description> property>
复制代码


注意:

1. 必须确保slave的firewall已关闭; 
2. 确保新的slave的ip已经添加到master及其他slaves的/etc/hosts中,反之也要将master及其他slave的ip添加到新的slave的/etc/hosts中

http://www.cnblogs.com/ggjucheng/archive/2012/04/18/2454689.html

阅读(1158) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~