Chinaunix首页 | 论坛 | 博客
  • 博客访问: 628092
  • 博文数量: 155
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 1237
  • 用 户 组: 普通用户
  • 注册时间: 2016-03-11 14:13
个人简介

狂甩酷拽吊炸天

文章分类

全部博文(155)

文章存档

2020年(16)

2019年(37)

2018年(17)

2017年(35)

2016年(50)

分类: LINUX

2016-04-20 17:58:13

适用于单机部署

传压缩包

1.       建安装目录

Zookeeper配置

1. 解压安装包到新建的tydic_ceshi目录

tar -zxvf zookeeper-3.4.6.tar.gz -C tydic_ceshi/

2.切换到zookeeper(以下简称zk)的conf目录下,重命名配置文件

3.启动zk,切换到zkbin目录

 ./zkServer.sh start

4.查看zk的状态,切换到zkbin目录

 ./zkServer.sh status

 看到Mode: standalone 表示zk单结点启动正常

5.停止zk,切换到zkbin目录(关闭服务时执行)

 ./zkServer.sh stop

 

安装jdk(因为hadoop需要)

1.       root用户下,上传jdk的安装包,并修该权限

2.       修改所属(因为我的机器用root不能上传,是用was上传的,如果是用root上传的这步可以忽略)

chown root:root jdk-6u30-linux-x64.bin

创建jdk的安装目录

3.修改环境变量,并安装jdk

vi .bash_profile,修改内容如下

JAVA_HOME=/home/jdk1.6

JRE_HOME=/home/jdk1.6/jre

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

修改完记得source .bash_profile

4.修改jdk权限

chmod +x jdk-6u30-linux-x64.bin

安装的时候,在jdk包所在路径./jdk***************

5安装完成,我们用java -version 看看jdk版本

Ps:原本自带的jdk1.4,如果你用这个命令来看到的是1.4jdk,我们做如下操作:

 

 

 

hadoop配置 

1.解压安装包

   tar -zxvf hadoop-2.2.0.tar.gz  -C tydic_ceshi/

2.配置hadoop-env.sh,切换到hadoopetc/hadoop目录

   执行vi hadoop-env.sh

Jdk的目录是:/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.9.x86_64

配置core-site.xml,切换到hadoopetc/hadoop目录

   执行vi core-site.xml

   添加如下配置:

     hadoop.tmp.dir

     [此处为hadoop安装根目录]/hadoopdata/tmp

  

  

     fs.default.name

     hdfs://[此处为主机名称]:9000

  

 

配置hdfs-site.xml,切换到hadoopetc/hadoop目录

   添加如下配置:

  

       dfs.namenode.secondary.http-address

       [此处为主机名]:9002

  

      

       dfs.namenode.name.dir

       file:[此处为hadoop根目录]/hadoopdata/dfs/name

  

  

       dfs.datanode.data.dir

       file:[此处为hadoop根目录]/hadoopdata/dfs/data

  

  

       dfs.replication

       1

  

   

        dfs.webhdfs.enabled

        true

   

   

         fs.hdfs.impl

         org.apache.hadoop.hdfs.DistributedFileSystem

配置mapred-site.xml,切换到hadoopetc/hadoop目录

    添加如下配置:

    

       mapreduce.framework.name

       yarn

    

    

       mapreduce.jobtracker.address

       [此处为主机名]:9002

    

    

        mapreduce.jobtracker.http.address

        [此处为主机名]:50030

    

    

         mapreduce.jobhistory.address

         [此处为主机名]:10020

    

    

         mapreduce.jobhistory.webapp.address

         [此处为主机名]:19888

    

需要先改名,在添加

配置hadoop环境,切换到当前用户根目录

 vi .bash_profile

 添加hadoop安装路径,例如:

 export HADOOP_HOME=[此处为hadoop安装根目录]

 export PATH=.:$HADOOP_HOME/bin:$PATH

执行source .bash_profile 使配置生效

6.格式化hadoop,切换到hadoopbin目录

  hadoop namenode -format

7. 启动hadoop,切换到hadoopsbin目录

  ./start-all.sh

8.查看hadoop进程

  jps -l|grep hadoop|grep -v hbase

 

  5个进程则正常

 另外通过浏览器访问:http://[此处为主机IP地址]:50070 能看到界面,说明正常

在浏览器访问,出现如下界面说明启动成功

Ps:如果hadoop安装成功,但是启动有问题,看不到启动的进程

解决办法:应该是格式化的时候出的问题,系统不认识主机名,切root编辑hosts文件,然后再去格式化

编辑内容如下(在hosts最末尾添加):

你的主机ip   你的主机名

10.停止hadoop,切换到hadopsbin目录(关闭服务时执行)

  ./stop-all.sh

 

 

 

hbase配置

1.解压安装包

tar -zxvf hbase-0.96.2-hadoop2-bin.tar.gz  -C tydic_ceshi/

 

2.配置hbase-env.sh,切换hbaseconf目录,

  vi hbase-env.sh

  找到如下两项进行修改

  export JAVA_HOME=[此处为jdk安装根目录]

  export HBASE_MANAGES_ZK=false

3.配置hbase-site.xml,切换到hbaseconf目录,

 vi hbase-site.xml

 添加如下配置

 

 

 

      hbase.zookeeper.property.clientPort

      2181

      Property from ZooKeeper's config zoo.cfg.

      The port at which the clients will connect.

     

   

   

       hbase.zookeeper.quorum

       [此处为主机名]

          The directory shared by RegionServers.

         

      

   

          hbase.rootdir

       hdfs://[此处为主机名]:9000/hbase

       The directory shared by RegionServers.

   

   

   

       hbase.cluster.distributed

       true

   

   

       hbase.coprocessor.user.region.classes

  org.apache.hadoop.hbase.coprocessor.AggregateImplementation

4. 启动hbase,切换到hbasebin目录

   ./start-hbase.sh

 

 5. 查看hbase进程

    

   看到有两个hbae进程,则启动正常

  另外通过浏览器访问http://[此处为主机IP]:60010,能看到页面,说明正常

Pshbase安装成功,能看到进程启动进程,但是在浏览器里访问不到,而且大概三分钟左右hbase或自动stop(查不到进程)

木有启动hadoopzookeeper

启动顺序是:hadoopàzookeeperàhbase

 

  6. 停止hbase进程(停止服务时执行)

   ./stop-hbase.sh

 

 

 

 

 

 

Redis安装(部署两个作为单机集群)

1.解压安装包

  tar -zxvf redis-2.8.9.tar.gz -C tydic_ceshi/

2.复制另外一份作为slave

  cp -r redis-2.8.9 redis-2.8.9-slave

3.安装redis,redis-2.8.9 redis-2.8.9-slave 根目录

  执行make (可能会遇到问题)

1make安装Redis 2.8.9时报错:

    zmalloc.h:50:31: error: jemalloc/jemalloc.h: No such file or directory

    zmalloc.h:55:2: error: #error "Newer version of jemalloc required"

    make[1]: *** [adlist.o] Error 1

    make[1]: Leaving directory `/data0/src/redis-2.6.2/src'

make: *** [all] Error 2

说关于分配器allocator 如果有MALLOC  这个 环境变量, 会有用这个环境变量的 去建立Redis

而且libc 并不是默认的 分配器, 默认的是 jemalloc, 因为 jemalloc 被证明 有更少的 fragmentation problems libc

但是如果你又没有jemalloc 而只有 libc 当然 make 出错。 所以加这么一个参数。

解决办法:make MALLOC=libc

2)这样做之后又报permession deney,切root再进行make

又报:

cc: ../deps/hiredis/libhiredis.a: No such file or directory

cc: ../deps/lua/src/liblua.a: No such file or directory

make: *** [redis-server] Error 1

分别进入redis下的deps下的hiredislua 运行make,注意:jemalloc下可能要先运行./configure,然后make

结果还是报cc: error: ../deps/lua/src/liblua.a: No such file or directory

切到lua目录下执行make linux     

回到src目录运行 make 

cc: ../deps/linenoise/linenoise.o: No such file or directory

make: *** [redis-cli] Error 1

切到linenoise目录下执行make

然后就可以切会src目录make

/home/was/tydic_ceshi/redis-2.8.9/src

4.修改redis-2.8.9-slave根目录redis.conf

  vi redis.conf

  修改port 6380(如果找不到,在命令模式下输入/port ,作为slave监听端口

  port 6380

  最后一行添加(如果找不到,在命令模式下输入shift+G),作为masterslave

  slaveof 127.0.0.1 6379

 

5.修改redis-2.8.9-slave根目录sentinel.conf

  vi sentinel.conf

  修改port26380(如果找不到,在命令模式下输入/port),作为sentinel slave 监听端口

  port 26380

6.启动masterslave,分别切换到redis-2.8.9 redis-2.8.9-slave

  nohup ./src/redis-server ./redis.conf &

  nohup ./src/redis-sentinel ./sentinel.conf &

ps:期间遇到Permission denied,切换到root,对redis目录执行chown –R was:was redis的目录

7.查看redis进程

  ps -ef|grep redis

看到如上4个进程表示正常

8.进入redis客户端查看master状态,切换到redis-2.8.9 redis-2.8.9-slave目录

  ./src/redis-cli -h 127.0.0.1 -p 6379  --进入master后台(端口为6379

  输入info

注意看# Replication这部分信息

role:master()

 connected_slaves:1(salve1)

 slave0:ip=127.0.0.1,port=6380,state=online,offset=151744,lag=0(salve服务信息)

9、进入redis客户端查看slave状态,切换到redis-2.8.9 redis-2.8.9-slave目录

   ./src/redis-cli -h 127.0.0.1 -p 6380  --进入slave后台(端口为6380

   输入info

注意看# Replication这部分信息

role:slave()

master_host:127.0.0.1(master服务ip)

master_port:6379(master服务端口)

 

rabbitMQ安装

一、.安装ncurseserlang依赖包)

:可以按第二步先安装otp_src_17.1.tar.gz,如果没有提示错误,则这步可以不执行。

  解压ncurses.tar.gz包:

  tar -zxvf ncurses.tar.gz

安装otp_src_17.1.tar.gzerlang软件,rabbitmq依赖包)

1.解压otp_src_17.1.tar.gz

tar -zxvf otp_src_17.1.tar.gz -C tydic_ceshi/

2.安装otp_src_17.1

  1cd otp_src_17.1

  2)./configure (切root去做)

切换root,到这个目录下去做

 

3)make(切root去做)

报如下的错

执行cp Makefile.in Makefile

make(需要很长时间,请耐心等待)

4)make install

Ok

三、启动/停止rabbitMQmq解压即可使用,无需安装)

1.解压:tar -zxvf rabbitmq-server-generic-unix-3.3.4.tar.gz

2.配置:

  1cd rabbitmq_server-3.3.4/sbin

  2)启动:./rabbitmq-server -detached 

  3) 开启监控插件: ./rabbitmq-plugins enable rabbitmq_management

  4)停止:./rabbitmqctl stop

四、配置rabbitMQ(蓝色部分可根据需要填写)

  1)新建用户:./rabbitmqctl add_user jtdq jtdq (用户名和密码:jtdq )

  2)设置用户角色: ./rabbitmqctl set_user_tags jtdq administrator

 

  3)新建virtual_host: ./rabbitmqctl add_vhost jtdqVhost

 

  4)权限设置:./rabbitmqctl set_permissions -p "jtdqVhost" jtdq".*" ".*" ".*"

 

  5)列出用户权限: ./rabbitmqctl list_user_permissions jtdq

阅读(1666) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~