CentOS 6.3 搭建Hadoop伪分布式

CentOS 6.3 搭建Hadoop伪分布式

＞＞

---

以Basic Server 模式安装 6.3，将机器名设置为1.linuxidc.com

安装完成后，在/etc/hosts中把hadoop1.linuxidc.com 写入 127.0.0.1 后面

推荐阅读：

HDFS的安装和部署 

HDFS上块恢复机制 

将本地文件拷到HDFS中 

用Sqoop进行MySQL和HDFS系统间的数据互导 

1、安装jdk，本人较懒，所以直接yum，这样可以省去配置环境变量

yum install java-1.6.0-openjdk java-1.6.0-openjdk-devel -y

2、配置本机无密码登陆

ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa

cat .ssh/id_dsa.pub >> .ssh/authorized_keys

之后可以ssh localhost，无密码可登陆即说明配置成功

3、下载并安装hadoop，我使用的是hadoop-1.2.1，直接下载的rpm安装

官网下载成功后，运行命令：

rpm -Uvh hadoop-1.2.1-1.x86_64.rpm

4、修改/etc/hadoop/hadoop-env.sh，将JAVA_HOME修改为真实值

因为是yum安装，所以是默认设置，需要修改为：

export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/

5、进入/etc/hadoop/，修改mapred-site.xml，core-site.xml，hdfs-site.xml

core-site.xml

   
        fs.default.name
        hdfs://hadoop1.linuxidc.com:9000
   
   
        hadoop.tmp.dir
        /home/hadoop/tmp
        A base for other temporary directories.
   

mapred-site.xml

   
        mapred.job.tracker
        hadoop1.linuxidc.com:9001
   

hdfs-site.xml

   
        dfs.name.dir
        /home/hadoop/dfs/name
   
   
        dfs.data.dir
        /home/hadoop/dfs/data
   
   
        dfs.replication
        1
   
   
        dfs.permissions
        false
   

配置完成。