1.hadoop的伪分布安装
1.1 设置静态ip地址
执行命令: setup 进入
选network configuration 配置ip,子网掩码,默认网关,保存退出
执行service network restart(重启网卡)
验证: ifconfig
1.2 设置主机名
执行命令: (1)hostname centos (仅对当前会话有效,重启则失效)
(2)vi /etc/sysconfig/network (永久有效)
(这里设置主机名为centos)
验证: 重启机器
1.3 ip与hostname绑定
执行命令: vi /etc/hosts
只需在最后加上ip和主机名即可,因为是伪分布安装,所以ip设为127.0.0.1
验证: ping centos
1.4 关闭防火墙
执行命令: service iptables stop(关闭防火墙)
service iptables start(开启防火墙)
验证: service iptables status
(查看防火墙状态)
则证明防火墙开启(如上图)
则证明防火墙关闭(如上图)
1.5 关闭防火墙的自动运行
执行命令: chkconfig iptables off
验证: chkconfig --list | grep iptables
1.6 设置ssh免密码登陆
执行命令: (1)ssh-keygen -t rsa
(2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证: ssh centos
详细配置请查看:
http://blog.chinaunix.net/uid-28379399-id-4530133.html
1.7 安装jdk
执行命令: (1)cd /usr/local
(2)chmod u+x jdk-6u24-linux-i586.bin
(3)./jdk-6u24-linux-i586.bin
(4)mv jdk-1.6.0_24 jdk
(5)vi /etc/profile 增加内容如下:
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
(6)source /etc/profile
验证: java -version
1.8 安装hadoop
执行命令: (1)解压hadoop压缩包:
tar -zxvf hadoop-1.1.2.tar.gz
(2)重命名解压后的文件:
mv hadoop-1.1.2 hadoop
(3)vi /etc/profile 增加内容如下:
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
(4)使修改生效:
source /etc/profile
(5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
hadoop-env.sh添加自己配置的JAVA_HOME为:
core-site.xml配置为:
fs.default.name NameNode的ip地址和端口
hadoop.tmp.dir HDFS的存储目录,默认在/tmp/hadoop-${user.name}(一定要配置此参数)
hdfs-site.xml配置为:
dfs.name.dir namenode数据文件夹(可以不配置此参数,默认为
hadoop.tmp.dir参数的值 )
dfs.data.dir datanode数据文件夹
dfs.replication 数据备份次数
mapred-site.xml配置为:
mapred.job.tracker 作业跟踪器位置
(6)格式化分布式文件系统:
hadoop namenode -format
(7)切换至bin文件夹下,启动hadoop:
start-all.sh
验证: (1)执行命令jps 如果看到5个新的java进程,分别是NameNode、SecondaryNameNode、DataNode、JobTracker、 TaskTracker,则启动成功
(2)在浏览器查看,
1.9 启动时没有NameNode的可能原因:
(1)没有格式化
(2)环境变量设置错误
(3)ip与hostname绑定失败
阅读(781) | 评论(0) | 转发(0) |