Hadoop RestFul
Hadoop HDFS原理1
Hadoop HDFS原理2
Hadoop作业调优参数调整及原理
Hadoop HA
Hadoop MapReduce高级编程
Hadoop IO
Hadoop MapReduce工作原理
Hadoop 管理
Hadoop 集群安装
Hadoop RPC
第一部分：环境规划
?用户 test 密码 test
?机器
|
主机名
|
IP
|
角色
|
|
bigdata-1
|
172.16.206.205
|
NameNode JobTraker
Sencondary NameNode
|
|
bigdata-2
|
172.16.206.231
|
DataNode TaskTracker
|
?NameNode元数据目录
?/home/test/dfs/namenode
?DataNode 数据存放目录
?/home/test/dfs/datanode
?Sencondary NameNode
?/home/test/dfs/sencondnode
第二部分：安装JDK并配置环境变量
安装 JDK 并配置环境变量
?2 台机器做同样的事情
?更改执行权限
?chmod +x jdk-6u24-linux-i586.bin
?安装
?./jdk-6u24-linux-i586.bin
?配置环境变量
?Home路径下，打开.bashrc文件，命令如下
?vi .bashrc
?添加JAVA环境变量
?export JAVA_HOME=/home/hadoop/java
?export PATH=$JAVA_HOME/bin:$PATH
第三部分：建立互信配置SSH
配置互信
每台机器上执行
$ ssh-keygen
$ ssh-copy-id -i ~/.ssh/id_rsa.pub bigdata -1
$ ssh-copy-id -i ~/.ssh/id_rsa.pub bigdata-2
第四部分：安装Hadoop并配置环境变量
安装并配置Hadoop的环境变量
?解压Hadoop，到/home/test路径下
? tar zxvf hadoop-1.0.0.tar.gz
?建立软连接
?ln –s hadoop-1.0.0 hadoop
?配置环境变量
?vi .bashrc
?添加如下内容
export HADOOP_CORE_HOME=/home/test/ hadoop
export PATH=.:$HADOOP_CORE_HOME/bin:$PATH
第五部分：配置Hadoop集群
core-site.xml
fs.default.name
hdfs://bigdata-1:9000
fs.checkpoint.dir
/home/test/dfs/sencondnode
hdfs-site.xml
dfs.name.dir
/home/test/dfs/namenode
dfs.data.dir
>/home/test/dfs/datanode
dfs.replication
1
mapred.job.tracker
bigdata-1:9001
master与slaves
?master
文件添加内容如下
bigdata-1
? Slaves
文件添加内容如下
bigdata-2
Hadoop-env.sh
?export JAVA_HOME=/home/tes/soft/java
第六部分：启动Hadoop集群
启动Hadoop集群
?hadoop namenode -format
?start-all.sh
?start-dfs.sh start-mapred.sh
?hadoop-deamon.sh start namenode
datanode
jobtracker
tasktracker
sencondnamenode
第七部分：测试WordCount 程序
?hadoop fs –mkdir input
?hadoop fs –put test.txt input
?hadoop jar hadoop-examples-*.jar wordcount input output
转载请注明出处【 http://sishuok.com/forum/blogPost/list/0/5461.html 】
阅读(484) | 评论(1) | 转发(0) |
