hadoop配置参数说明

在这里写一遍hadoop的参数说明，自己多记忆一下，如果有人需要也可以帮助一下大家
Hadoop配置文件分为两类：1、只读类型的默认文件：src/core/core-default.xml     src/hdfs/hdfs-default.xml    src/mapred/mapred-default.xml   conf/mapred-queues.xml
2. 定位（site-specific）设置：conf/core-site.xml   conf/hdfs-site.xml  conf/mapred-site.xml  conf/mapred-queues.xml
还有设置conf/hadoop-env.sh来为hadoop的守护进程设置环境变量。一般对于守护进程设置环境变量至少需要设置java_home的环境变量，也可以对不同的守护进程分别进行设置：
守护进程   NameNode          配置选项为           HADOOP_NameNode_OPTS
               DataNode                                      HADOOP_DataNode_OPTS
               SecondaryNameNode                    HADOOP_SECONDARYNameNode_OPTS
               JobTracker                                     HADOOP_JOBTRACKER_OPTS
               TaskTracker                                    HADOOP_TASKTRACKER_OPTS
一些文件的配置参数说明如下：
conf/core-site.xml文件：  fs.default.name    NameNode的IP地址及端口的设置
conf/hdfs-site.xml文件：  dfs.name.dir      NameNode存储名字空间及汇报日志的位置
                                      dfs.data.dir        DataNode 存储数据块的位置
conf/mapred-site.xml文件：     mapreduce.jobtracker.address        JobTracker的IP地址及端口
                                              mapreduce.jobtracker.system.dir    Mapreduce在HDFS上存储文件的位置，例如/Hadoop/mapred/sysem/
                                              mapreduce.cluster.local.dir             Mapreduce的缓存数据存储在文件系统上的位置
                                              mapred.tasktracker.{map|reduce}.tasks.maximum      每台Taskracker所能运行的Map或Reduce的task的最大数量
                                              dfs.hosts/dfs.hosts.exclude                  允许或禁止的DataNode列表
                                             
其实配置并不复杂，一般而言，除了规定端口、IP地址、文件的存储位置外，其他配置都不是必须修改的，可以根据需要采取默认还是自己修改。
注意的是，配置文件一旦修改就默认为是最终参数，这些参数都不可以在程序中再次修改。