hadoop配置文件配置项定义
0. 版本
0.19.2
1. hadoop cluster组成
1.1. HDFS
1.1.1 Name Node (1台)
1.1.2 Secondary Name Node (1台, 可选)
1.1.3 Data Node (若干台)
1.2. MR
1.2.1 Master [JobTracker] (1台)
1.2.2 Slave [TaskTracker] (若干台)
2. 配置文件
2.1 hadoop-default.xml
hadoop集群的默认配置, 通常不需要修改这个配置文件.
2.2 hadoop-site.xml
hadoop集群里面的机器个性化配置文件, 通常在这里指定机器的个性化配置.
3. 配置项
3.1 fs.default.name
定义: Name Node的URI
描述: hdfs://hostname/
3.2 mapred.job.tracker
定义: JobTracker的地址
描述: hostname:port
3.3 dfs.name.dir
定义: Name Node 保存元数据和事务日志的本地目录
描述: 逗号分隔的目录列表用于指定多份数据的冗余备份.
3.4 dfs.data.dir
定义: Data Node 保存块文件的本地目录
描述: 逗号分隔的目录列表指定这些目录用于保存块文件.
3.5 mapred.system.dir
定义: HDFS上MapReduce保存系统文件的目录.
描述:
3.6 mapred.local.dir
定义: 保存MapReduce临时文件的本地目录
描述: 逗号分隔的目录列表用于指定多个目录同时做为临时数据空间
3.7 mapred.tasktracker.{map|reduce}.tasks.maximum
定义: TaskTracker上最多能够同时运行的map/reduce task数目.
描述: 默认map/reduce task数目各为2.
3.8 dfs.hosts/dfs.hosts.exclude
定义: Data Node白名单/黑名单文件
描述:
3.9 mapred.hosts/mapred.hosts.exclude
定义: MapReduce白名单/黑名单文件
描述:
3.10 mapred.queue.names
定义: 队列名
描述: hadoop MapReduce系统默认有一个"default"的Job队列(pool).
3.11 dfs.block.size
定义： hdfs默认块大小
描述： 默认是128M
3.12 dfs.namenode.handler.count
定义： namenode同时和datanode通信的线程数
描述：
3.13 mapred.reduce.parallel.copies
定义： reducer同时从mapper上拉取的文件数
描述：
3.14 mapred.child.java.opts
定义： child jvm的堆大小
描述：
3.15 fs.inmemory.size.mb
定义： reducer在合并map输出数据使用的内存空间
描述： 默认使用200M
3.16 io.sort.factor
定义： 排序因子。同时合并的数据流的数量
描述：
3.17 io.sort.mb
定义： 排序使用的最大内存
描述：
3.18 io.file.buffer.size
定义： 读写文件的缓冲区大小
描述：
3.19 mapred.job.tracker.handler.count
定义： jobtracker同时与tasktracker通信的线程数
描述：
3.20 tasktracker.http.threads
定义： tasktracker开http服务的线程数。用于reduce拉取map输出数据。
描述：
《待续》
阅读(2213) | 评论(1) | 转发(1) |
