分类:
2011-03-03 14:45:46
向一个正在运行的Hadoop集群中增加几个新的Nodes 1. 新节点上部署java/hadoop程序,配置相应的环境变量 2. 新节点上增加用户,从master上拷贝id_rsa.pub并配置authorized_keys 3. 新节点上设置host,需要有集群中各节点的host对应 4. 新节点上建立相关的目录,并修改属主 5. master的slaves文件中增加上相的节点,master上增加相应的host 6. 在新节点上启动datanode和tasktracker /opt/sohuhadoop/hadoop/bin/hadoop-daemon.sh
start datanode 7. 进行block块的均衡 在hdfs-site.xml中增加设置balance的带宽,默认只有1M:
运行以下命令: /opt/sohuhadoop/hadoop/bin/start-balancer.sh
-threshold 3 均衡10个节点,移动400G数据,大概花费了3个小时 The cluster is
balanced. Exiting… |