Chinaunix首页 | 论坛 | 博客
  • 博客访问: 33985
  • 博文数量: 12
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 130
  • 用 户 组: 普通用户
  • 注册时间: 2015-07-05 16:07
文章分类

全部博文(12)

文章存档

2015年(12)

我的朋友

分类: HADOOP

2015-07-06 18:46:48

1. /opt         父目录
                    /opt/modules   存放软件的安装目录
                    /opt/software    存放软件包
                    /opt/tools   存储工具包
                    /opt/data   存储测试数据
                    /home/hadoop   存储工具盒测数据目录
2.安装JDK,配置环境变量

配置:
编辑/etc/profile文件,添加内容:
export JAVA_HOME = /opt/modules/jdk
export PATH = $PATH:$JAVA_HOME/bin
执行source /etc/profile 刷新路径

3.hadoop安装
    解压
    移动到安装目录
    配置环境变量,编辑 /etc/profile文件,增加如下内容:
export HADOOP_HOME=/opt/modules/hadoop-1.2.1
export PATH=$PATH:/opt/modules/hadoop-1.2.1/bin

输入hadoop进行测试,出来一大堆的东西
5.配置hadoop JDK的安装路径
配置conf内的.conf文件

6.测试mapreduce程序
7.apache Hadoop的安装部署模式:
单机(本地)模式,hadoop默认的配置,没有守护进程,此时hadoop使用本地文件系统而非分布式文件系统,而且不会启动任何hadoop守护进程,map和reduce任务都作为同一进程的不同部分来执行。因此,本地模式下的hadoop仅运行于本机。此种模式仅用于开发或者调试mapreduce应用程序。
伪分布模式:一台机器上运行所有的hadoop服务()
完全分布式

8.单机模式:只有一个JVM进程,没有分布式,不使用HDFS,通常用于调试
伪分布模式:只有一台机器,每个hadoop守护进程都是一个独立的JVM进程,通常用于调试
完全分布式模式:运行于多台机器上,真是环境。

9.当首次戒烟hadoop的源码包时,hadoop无法了解硬件安装环境,便保守地选择了最小配置,在这种默认模式下所有的3个xml文件均为空,当配置文件为空时,hadoop会完全运行在本地。

10.伪分布模式:
hadoop将所有进程运行于同一台主机上,但是此时hadoop将使用分布式文件系统,而且各个jobs也是由jobtracker服务管理的独立进程。
伪分布式的hadoop集群只有一个节点,因此HDFS的块复制将限制为单个副本,其secondary-master和slave也都将运行于本地主机。
此种模式处理并非真正意义的分布式之外,其程序执行逻辑完全类似于完全分布式,因此,曾用于开发人员测试程序执行。
该模式在单机模式之上增加了代码调试功能,允许你检查内存使用情况,HDFS输入输出,以及其他的守护进程交互。
11.伪分布式的安装部署
12.hadoop的五大守护进程:
namenode,datanode,secondary namenode,jobtracker,tasktracker



    
    
阅读(1447) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~