Chinaunix首页 | 论坛 | 博客
  • 博客访问: 182305
  • 博文数量: 26
  • 博客积分: 71
  • 博客等级: 民兵
  • 技术积分: 825
  • 用 户 组: 普通用户
  • 注册时间: 2012-11-15 16:14
个人简介

希望在这里与大家一起交流学习,共同进步。。。

文章分类

全部博文(26)

文章存档

2019年(1)

2015年(5)

2014年(6)

2013年(13)

2012年(1)

我的朋友

分类: 云计算

2013-10-21 21:39:24

在这里写一遍hadoop的参数说明,自己多记忆一下,如果有人需要也可以帮助一下大家
Hadoop配置文件分为两类:1、只读类型的默认文件:src/core/core-default.xml     src/hdfs/hdfs-default.xml    src/mapred/mapred-default.xml   conf/mapred-queues.xml
2. 定位(site-specific)设置:conf/core-site.xml   conf/hdfs-site.xml  conf/mapred-site.xml  conf/mapred-queues.xml
还有设置conf/hadoop-env.sh来为hadoop的守护进程设置环境变量。一般对于守护进程设置环境变量至少需要设置java_home的环境变量,也可以对不同的守护进程分别进行设置:
守护进程   NameNode          配置选项为           HADOOP_NameNode_OPTS
               DataNode                                      HADOOP_DataNode_OPTS
               SecondaryNameNode                    HADOOP_SECONDARYNameNode_OPTS
               JobTracker                                     HADOOP_JOBTRACKER_OPTS
               TaskTracker                                    HADOOP_TASKTRACKER_OPTS
一些文件的配置参数说明如下:
conf/core-site.xml文件:  fs.default.name    NameNode的IP地址及端口的设置
conf/hdfs-site.xml文件:  dfs.name.dir      NameNode存储名字空间及汇报日志的位置
                                      dfs.data.dir        DataNode 存储数据块的位置
conf/mapred-site.xml文件:     mapreduce.jobtracker.address        JobTracker的IP地址及端口
                                              mapreduce.jobtracker.system.dir    Mapreduce在HDFS上存储文件的位置,例如/Hadoop/mapred/sysem/
                                              mapreduce.cluster.local.dir             Mapreduce的缓存数据存储在文件系统上的位置
                                              mapred.tasktracker.{map|reduce}.tasks.maximum      每台Taskracker所能运行的Map或Reduce的task的最大数量
                                              dfs.hosts/dfs.hosts.exclude                  允许或禁止的DataNode列表
                                             
其实配置并不复杂,一般而言,除了规定端口、IP地址、文件的存储位置外,其他配置都不是必须修改的,可以根据需要采取默认还是自己修改。
注意的是,配置文件一旦修改就默认为是最终参数,这些参数都不可以在程序中再次修改。



          
阅读(3096) | 评论(0) | 转发(1) |
给主人留下些什么吧!~~