Chinaunix首页 | 论坛 | 博客
  • 博客访问: 792471
  • 博文数量: 247
  • 博客积分: 166
  • 博客等级: 入伍新兵
  • 技术积分: 2199
  • 用 户 组: 普通用户
  • 注册时间: 2012-11-15 16:10
文章分类

全部博文(247)

文章存档

2017年(1)

2015年(63)

2014年(80)

2013年(94)

2012年(9)

分类: HADOOP

2014-10-07 22:59:21

1.hadoop的伪分布安装

1.1 设置静态ip地址

执行命令: setup 进入

选network configuration 配置ip,子网掩码,默认网关,保存退出
执行service network restart(重启网卡)
验证: ifconfig

1.2 设置主机名

执行命令: (1)hostname centos (仅对当前会话有效,重启则失效)
               (2)vi /etc/sysconfig/network (永久有效)
 
(这里设置主机名为centos)

验证: 重启机器

1.3 ip与hostname绑定

执行命令: vi /etc/hosts

只需在最后加上ip和主机名即可,因为是伪分布安装,所以ip设为127.0.0.1
验证: ping centos

1.4 关闭防火墙

执行命令: service iptables stop(关闭防火墙)
               service iptables start(开启防火墙
验证:       service iptables status(查看防火墙状态

则证明防火墙开启(如上图)

则证明防火墙关闭(如上图

1.5 关闭防火墙的自动运行

执行命令: chkconfig iptables off
验证: chkconfig --list | grep iptables

1.6 设置ssh免密码登陆

执行命令: (1)ssh-keygen -t rsa
               (2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证: ssh centos
详细配置请查看:http://blog.chinaunix.net/uid-28379399-id-4530133.html

1.7 安装jdk

执行命令:  (1)cd /usr/local
                (2)chmod u+x jdk-6u24-linux-i586.bin
                (3)./jdk-6u24-linux-i586.bin
                (4)mv jdk-1.6.0_24  jdk
                (5)vi /etc/profile 增加内容如下:
                export JAVA_HOME=/usr/local/jdk
                export PATH=.:$JAVA_HOME/bin:$PATH
                (6)source /etc/profile
验证: java -version

1.8 安装hadoop

执行命令:  (1)解压hadoop压缩包:
                        tar -zxvf hadoop-1.1.2.tar.gz
                (2)重命名解压后的文件:
                        mv hadoop-1.1.2 hadoop
                (3)vi /etc/profile 增加内容如下:
                        export JAVA_HOME=/usr/local/jdk
                        export HADOOP_HOME=/usr/local/hadoop
                        export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
                (4)使修改生效:
                        source /etc/profile
                (5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
                        hadoop-env.sh添加自己配置的JAVA_HOME为:
                        
                        core-site.xml配置为:
                        

                            fs.default.name    NameNode的ip地址和端口
                            hadoop.tmp.dir    HDFS的存储目录,默认在/tmp/hadoop-${user.name}(一定要配置此参数)
                        hdfs-site.xml配置为:
                        
                            
dfs.name.dir    namenode数据文件夹(可以不配置此参数,默认为hadoop.tmp.dir参数的值 )
                  
dfs.data.dir     datanode数据文件夹
                            dfs.replication    数据备份次数
                        
mapred-site.xml配置为:
                        
                            mapred.job.tracker    作业跟踪器位置

                (6)格式化分布式文件系统:
                        hadoop namenode -format
                (7)切换至bin文件夹下,启动hadoop:
                        start-all.sh
验证:        (1)执行命令jps 如果看到5个新的java进程,分别是NameNode、SecondaryNameNode、DataNode、JobTracker、                     TaskTracker,则启动成功
                (2)在浏览器查看,    

1.9 启动时没有NameNode的可能原因:

                (1)没有格式化
                (2)环境变量设置错误
                (3)ip与hostname绑定失败
阅读(734) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~