OS: Ubuntu12.04 Server
Hadoop：CDH3U6
机器列表：namenode 192.168.71.46；datanode 192.168.71.202，192.168.71.203，192.168.71.204
安装Hadoop
添加软件源
/etc/apt/sources.list.d/cloudera-3u6.list
插入
deb maverick-cdh3 contrib
deb-src maverick-cdh3 contrib
增加GPG Key，执行
curl -s | sudo apt-key add -
更新
apt-get update
在namenode上安装hadoop-0.20-namenode和jobtracker
apt-get install -y --force-yes hadoop-0.20-namenode hadoop-0.20-jobtracker
在datanode上安装hadoop-0.20-datanode和tasktracker
apt-get install -y --force-yes hadoop-0.20-datanode hadoop-0.20-tasktracker
配置无SSH登录
在namendoe机器上执行
ssh-keygen -t rsa
一路回车，将在~/.ssh文件夹下生成的id_rsa.pub的内容复制到其他datanode机器的/root/.ssh/authorized_keys文件的尾部，如果其他机器中没有这个文件就自己手动创建一个。
建立Hadoop存储目录并修改owner
mkdir /opt/hadoop
chown hdfs:hadoop /opt/hadoop
mkdir /opt/hadoop/mapred
chown mapred:hadoop /opt/hadoop/mapred
修改配置文件并分发
修改/etc/hadoop/conf/core-site.xml为
[]
fs.default.name
hdfs://192.168.71.46:8020
hadoop.tmp.dir
/opt/hadoop
修改/etc/hadoop/conf/hdfs-site.xml为
[html
dfs.balance.bandwidthPerSec
10485760
dfs.block.size
134217728
dfs.data.dir
/opt/hadoop/dfs/data
dfs.datanode.max.xcievers
4096
dfs.namenode.handler.count
100
修改/etc/hadoop/conf/mapred-site.xml为
[html
mapred.child.java.opts
-Xmx1024m
mapred.job.tracker
192.168.71.46:8021
mapred.jobtracker.taskScheduler
org.apache.hadoop.mapred.CapacityTaskScheduler
mapred.queue.names
default,extract
mapred.tasktracker.map.tasks.maximum
44
mapred.tasktracker.reduce.tasks.maximum
22
mapred.local.dir
/opt/hadoop/mapred/local
[html]
mapred.system.dir
/user/mapred/system
mapreduce.jobtracker.staging.root.dir
/user/mapred/staging
mapred.temp.dir
/user/mapred/temp
将conf文件夹分发的datanode机器上。
scp -r /etc/hadoop/conf root@192.168.71.202:/etchadoop/conf
scp -r /etc/hadoop/conf root@192.168.71.203:/etchadoop/conf
scp -r /etc/hadoop/conf root@192.168.71.204:/etchadoop/conf
limit设置
vi /etc/security/limits.conf
加上这些字段
* soft nofile 65535
* hard nofile 131070
root soft nofile 65535
root hard nofile 131070
hdfs soft nofile 65535
hdfs hard nofile 131070
mapred soft nofile 65535
mapred hard nofile 131070
hosts和hostname设置
拓展阅读：
修改/etc/hosts加上集群所有机器的hostname和对应的IP
阅读(1058) | 评论(0) | 转发(0) |
