Chinaunix首页 | 论坛 | 博客
  • 博客访问: 166560
  • 博文数量: 73
  • 博客积分: 3106
  • 博客等级: 中校
  • 技术积分: 730
  • 用 户 组: 普通用户
  • 注册时间: 2010-05-11 22:57
文章分类

全部博文(73)

文章存档

2018年(2)

2016年(1)

2012年(8)

2011年(21)

2010年(41)

我的朋友

分类: 服务器与存储

2010-09-07 14:22:28

搭建Hadoop/Hbase环境
1.在Apache/Hadoop项目的网站(hadoop.apache.org/)下载hadoop以及hbase的发行包,此处两个发行包的大版本号一定要一致,我使用的版本是0.20.1:
  hadoop-0.20.1.tar.gz    hbase-0.20.1.tar.gz

2. 我用的ubuntu9.04,首先安装java虚拟机,这个比较简单,随便找个绿色的解压就可以了,我使用java-6-openjdk,配置系统的环境变量:
编辑全局环境变量文件/etc/profile,在文件后面添加
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk
export PATH=$JAVA_HOME:$PATH
保存profile文件后使用 $source /etc/profile 命令重新加载profile,然后随便在一个目录下面运行 $java -version 查看javahome环境变量和path变量是否被正确加载.
另外到 /etc/hosts 文件中查看主机映射是否存在,例如 127.0.0.1 localhost 或者什么其他的名字,在这里默认配置本机为localhost,如果需要做分布式的话,本机要做namenode,所以要把所有的datanode的 host添加到这里面.

3.创建hadoop用户, $sudo useradd -s /bin/bash -d /home/hadoop hadoop
可以用 $passwd hadoop 修改hadoop用户的登录密码.

4.创建hadoop用户的home目录,如果打算在别处安装hadoop/hbase的话可以不这样做,这里我们默认将hadoop /hbase安装在/home/${username}目录下.
$cd /home
$mkdir hadoop
将目录用户指派给hadoop
$chown hadoop hadoop
改变目录权限,这里我们配大一些,其实只要644就足够了:
$chmod 755 hadoop

5.使用hadoop用户登录系统,将下载的两个发行包文件传到/home/hadoop目录下面,然后给它们加上执行权限:
$chmod a+x hadoop-0.20.1.tar.gz
$chmod a+x hbase-0.20.1.tar.gz

6.解压hadoop:
$tar zxvf hadoop-0.20.1.tar.gz
这样做会在/home/hadoop目录下解压hadoop发行包并创建到/home/hadoop/hadoop-0.20.1目录中,这里可以详细设计目录结构并创建link文件来方便日后升级等工作,这里我们先简单放在这里.

7.修改hadoop环境脚本:
修改文件/home/hadoop/hadoop-0.20.1/conf/hadoop-env.sh,在其中加入JAVA_HOME变量: export JAVA_HOME=/usr/lib/jvm/java-6-openjdk
HADOOP_HOME变量我们可以不设置,默认的情况是指定HADOOP_HOME为运行启动脚本当前目录的父目录.

8.修改hadoop启动配置:(这一点是0.20和0.18的一个区别)
  我采用的是伪分布式,这个分布式其实只是用master一台机器,没有其他节点。
  伪分布式(Pseudo-Distributed Operation)

  按照下面的文件位置,对相应的文件进行修改:
conf/core-site.xml:

  
    fs.default.name
    hdfs://localhost:9000
  




conf/hdfs-site.xml:

  
    dfs.replication
    1
  




conf/mapred-site.xml:

  
    mapred.job.tracker
    localhost:9001
  



9.设置ssh的无密码登录,这样会在后面很方便:
先试一下,看看没有密码能不能登录:
$ ssh localhost
如果你不能没有密码登录,执行下面的命令:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

10.格式化nodename及启动hdfs守护进程:
$/home/hadoop/hadoop-0.20.1/bin/hadoop namenode -format
$/home/hadoop/hadoop-0.20.1/bin/start-all.sh
使用shart-all.sh可以方便的启动所有的hdfs守护进程,如果想关闭这些守护进程可以使用stop-all.sh脚本.

用浏览器访问 和 可以查看hdfs拓扑结构和job进程还有hdfs文件系统结构.

11.解压hbase发行包:
$tar zxvf hbase-0.20.1.tar.gz

12.修改hbase环境脚本:
修改文件/home/hadoop/hbase-0.20.1/conf/hbase-env.sh,在其中加入JAVA_HOME变量: export JAVA_HOME=/usr/lib/jvm/java-6-openjdk
这个文件/home/hadoop/hbase-0.20.1/conf/hbase-site.xml对于java客户端连接数据库有非常大的作用,后面会介绍。

13.启动hbase:
$/home/hadoop/hbase-0.20.1/bin/start-hbase.sh
成功启动hbase的守护进程.
启动hbase hql shell:
$/home/hadoop/hbase-0.20.1/bin/hbase shell
在hql shell中可以进行hbase数据操作,如果需要帮助信息可以键入:
hbase>help
简单测试hbase:
在hbase shell下:
hbase>create 't1','f1','f3'
hbase>list

使用浏览器访问 可以查看当前hbase信息.

启动hbase REST服务:
$/home/hadoop/hbase-0.20.1/bin/hbase rest start
成功启动hbase REST服务后就可以通过对uri: 的通用REST操作(GET/POST/PUT/DELETE)实现对hbase的REST形式数据操作.
14.需要注意的地方:
   (1)每次重启你安装hadoop,hbase的服务器后,你都要重新将表和数据重新建立一遍,否则数据库内是没有任何内容的;
   (2)不知道是什么原因,在我本机重启后,在hbase shell下,无法执行scan,get,put等操作,会报一些异常。遇到同样问题的同学,原因只有一个:你手太快了,启动hadoop需要20s左右的安全启动时间,不能进行读写操作。也不要进行读写操作,很有可能hadoop没有启动成功。所以,启动hadoop后等待一段时间。
以上你的hadoop,hbase已经搭建好了,下面就是java客户端对这个环境的应用了。
由于,现在做得项目是基于GWT的,所以,首先建立一个gwt工程,然后将:
    hadoop-0.20.1-core.jar
    hbase-0.20.1.jar
    log4j-1.2.15.jar
    zookeeper-3.2.1.jar
加入到工程里面,然后build path到你的环境变量中。(注意:版本号一定要对应,马虎不得阿!)
2、你现在要做的另外一件事情就是将我们之前说的/home/hadoop/hbase-0.20.1/conf/hbase-site.xml 修改好,并且添加到你的CLASSPATH中。
修改如下:


    hbase.rootdir
    hdfs://localhost:9000/hbase
    The directory shared by region servers.
   

  


然后将/home/hadoop/hbase-0.20.1/conf/hbase-default.xml也添加到你的CLASSPATH中,这个文件不需要任何修改。

ok!现在我们已经可以些一个java客户端去访问Hbase了
数据库的表我们就用之前测试的时候建立过的‘t1’
import java.io.IOException;

import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.util.Bytes;

// Class that has nothing but a main.
// Does a Put, Get and a Scan against an hbase table.
public class MyLittleHBaseClient {
public static void main(String[] args) throws IOException {
//这个就是我们连接数据库的关键,其实就是相当于jdbc,只不过他读取的配置文件就是咱们放在CLASSPATH中的那个两个xml
HBaseConfiguration config = new HBaseConfiguration();
//确定你要往哪个表存数据,就是这个't1'
HTable table = new HTable(config, "t1");
                //你存入数据的row
Put p = new Put(Bytes.toBytes("myfirstrow"));
                //将你要存入的数据“yes”,存入到“f1”这个列簇的“perfect”下
p.add(Bytes.toBytes("f1"), Bytes.toBytes("perfect"),
Bytes.toBytes("yes"));
                //执行,相当于commit
table.put(p);


                //Get方法,相当于sql中的select
Get g = new Get(Bytes.toBytes("myfirstrow"));
Result r = table.get(g);
byte[] value = r.getValue(Bytes.toBytes("f1"), Bytes
.toBytes("perfect"));

String valueStr = Bytes.toString(value);
                //打印出来的结果当然是“yes”
System.out.println("GET: " + valueStr);

//Scan这个方法其实是为了查询数据库的结构,因为我们可以通过HAdmin去对结构进行修改。
Scan s = new Scan();
s.addColumn(Bytes.toBytes("f1"), Bytes
.toBytes("perfect"));
ResultScanner scanner = table.getScanner(s);
try {

for (Result rr = scanner.next(); rr != null; rr = scanner.next()) {

System.out.println("Found row: " + rr);
}


} finally {

scanner.close();
}
}
}

3台机器:master(10.0.0.200),slave1(10.0.0.201),slave2(10.0.0.202)
系统都为Centos 5

假设将master做为namenonde,将slave1和slave2做为datanode

1.在master:(在slave1和slave2上操作和以下相同)
vi /etc/hosts
10.0.0.200  master
10.0.0.201  slave1
10.0.0.202  slave2

2.用root登陆,建立hadoop用户
useradd hadoop
passwd hadoop
输入111111做为密码

3.su - hadoop       #进入hadoop用户目录
ssh-keygen -t rsa #建立ssh目录,敲回车到底
cd .ssh
scp -r id_rsa.pub hadoop@slave1:/home/hadoop/.ssh/authorized_keys_m
#将master上的密钥传到slave1的hadoop用户下,重命名为authorized_keys_m

scp -r id_rsa.pub hadoop@slave2:/home/hadoop/.ssh/authorized_keys_m
#将master上的密钥传到slave2的hadoop用户下,重命名为authorized_keys_m

用hadoop用户进入slave1
scp -r id_rsa.pub hadoop@master:/home/hadoop/.ssh/authorized_keys_s1
#将slave1上的密钥传到master的hadoop用户下

用hadoop用户进入slave2
scp -r id_rsa.pub hadoop@master:/home/hadoop/.ssh/authorized_keys_s2
#将slave2上的密钥传到master的hadoop用户下

在master,slave1和slave22上执行以下操作
cat id_rsa.pub >> authorized_keys_m(_s) #将本地密钥添加authorized_keys

这样主节点和从节点之间就可以不用密码直接ssh访问

4.安装JDK到/usr/local下命名为jdk1.6
然后:
编辑三台机器的/etc/profile,增加如下内容
export JAVA_HOME=/usr/local/jdk1.6
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin:$PATH:$HOME/bin

export HADOOP_HOME=/home/hadoop/hadoop-0.19.0
export PATH=$PATH:$HADOOP_HOME/bin

-----------------------------------------
hadoop配置:

1.将下载好的hadoop-0.19.0.tar.gz文件上传到master的/home/hadoop
tar zxvf hadoop-0.19.0.tar.gz #解压文件
2.修改4个文件hadoop-site.xml,hadoop-env.sh,masters,slaves
masters:
master

slaves:
slave1
slave2

hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.6

hadoop-site.xml:









   fs.default.name

   hdfs://master:54310/





   mapred.job.tracker//

   hdfs://master:54311/





   dfs.replication

   3     #指定 HDFS 中每个 Block 被复制的次数,起数据冗余备份的作用。在典型的生产系统中,这个数常常设置为3





    hadoop.tmp.dir

    /home/hadoop/tmp/  #hadoop的tmp目录路径






  dfs.name.dir

  /home/hadoop/name/  #hadoop的name目录路径
 




   mapred.child.java.opts
   -Xmx512m          #进程





  dfs.block.size

  67108864

  The default block size for new files.

                              #新文件默认block大小

  
        dfs.permissions  
        false              #效验HDFS文件系统权限
  
 
  
        dfs.web.ugi  
        hadoop,supergroup    #hadoop页面访问权限



        heartbeat.recheck.interval
        5000     #心跳间隔时间,5000秒=40分




3.配置好后先在/home/hadoop下建立/tmp目录
然后进入hadoop的bin目录hadoop namenode -format 格式化namenode
start-dfs启动namenode上的hadoop
netstat -tnl查看50070,54310,50090端口是否启动
访问

4.将配置好的hadoop打包
cd /home/hadoop
tar -cvf hadoop-0.19.0.tar.gz hadoop-0.19.0/
scp -r hadoop-0.19.0.tar.gz hadoop@slave1:/home/hadoop
scp -r hadoop-0.19.0.tar.gz hadoop@slave2:/home/hadoop

在slave1和slave2上配置和master一样
只需修改hadoop-site.xml文件
去掉


  dfs.name.dir

  /home/hadoop/name/  #hadoop的name目录路径
 

增加一句


  dfs.data.dir

  /home/hadoop/data/  #hadoop的data目录路径
 


5.进入hadoop的bin目录,start-dfs启动datanode节点

这样hadoop就配置完成了
阅读(1067) | 评论(1) | 转发(0) |
0

上一篇:安装问题

下一篇:Useful commands

给主人留下些什么吧!~~

chinaunix网友2011-01-05 17:40:37

很好的, 收藏了 推荐一个博客,提供很多免费软件编程电子书下载: http://free-ebooks.appspot.com