Chinaunix首页 | 论坛 | 博客
  • 博客访问: 4394661
  • 博文数量: 1214
  • 博客积分: 13195
  • 博客等级: 上将
  • 技术积分: 9105
  • 用 户 组: 普通用户
  • 注册时间: 2007-01-19 14:41
个人简介

C++,python,热爱算法和机器学习

文章分类

全部博文(1214)

文章存档

2021年(13)

2020年(49)

2019年(14)

2018年(27)

2017年(69)

2016年(100)

2015年(106)

2014年(240)

2013年(5)

2012年(193)

2011年(155)

2010年(93)

2009年(62)

2008年(51)

2007年(37)

分类: HADOOP

2014-04-16 20:53:47

0. 机器结构

1台NameNode,3台DataNode

  1. 1.3.0.241 cloud1
  2. 1.3.10.229 cloud2
  3. 1.3.10.231 cloud3
  4. 1.3.10.230 cloud4

1.Hadoop

core-site.xml

 
   fs.defaultFS
   hdfs://cloud1:9000
 
 
   io.file.buffer.size
   131072
 
 
   hadoop.tmp.dir
   /mnt/hadoop/tmp
   A base for other temporary directories.
 

hdfs-site.xml

 
   dfs.namenode.name.dir
   /mnt/hadoop/name
 
 
   dfs.datanode.data.dir
   /mnt/hadoop/data
 
 
   dfs.replication
   3
 

 
   dfs.support.append
   true
 
 
   dfs.datanode.max.xcievers
   4096
 

mapred-site.xml

 
   mapreduce.framework.name
   yarn
 
 
   mapreduce.jobhistory.address
   cloud1:10020
 
 
   mapreduce.jobhistory.webapp.address
   cloud1:19888
 

yarn-site.xml

 
   yarn.resourcemanager.address
   cloud1:8032
   ResourceManager host:port for clients to submit jobs. 
 
 
   yarn.resourcemanager.scheduler.address
   cloud1:8030
   ResourceManager host:port for ApplicationMasters to talk to Scheduler to obtain resources.
 
 
   yarn.resourcemanager.resource-tracker.address
   cloud1:8031
   ResourceManager host:port for NodeManagers. 
 
 
   yarn.resourcemanager.admin.address
   cloud1:8033
   ResourceManager host:port for administrative commands. 
 
 
   yarn.resourcemanager.webapp.address
   cloud1:8088
   ResourceManager web-ui host:port. 
 
 
   yarn.resourcemanager.scheduler.class
   org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
   In case you do not want to use the default scheduler
 
 
 
   yarn.nodemanager.resource.memory-mb
   10240
   the amount of memory on the NodeManager in MB
 
 
   yarn.nodemanager.local-dirs
   
   the local directories used by the nodemanager
 
 
   yarn.nodemanager.log-dirs
   
   the directories used by Nodemanagers as log directories
 
 
   yarn.nodemanager.remote-app-log-dir
   /app-logs
   directory on hdfs where the application logs are moved to 
 
 
   yarn.nodemanager.aux-services
   mapreduce_shuffle
   shuffle service that needs to be set for Map Reduce to run 
 



2.Hbase

hbase-site.xml

 
   hbase.rootdir
   hdfs://cloud1:9000/hbase
   The directory shared by RegionServers.
 
 
   dfs.support.append
   true
 
 
   hbase.cluster.distributed
   true
   The mode the cluster will be in. Possible values are
     false: standalone and pseudo-distributed setups with managed Zookeeper
     true: fully-distributed with unmanaged Zookeeper Quorum (see hbase-env.sh)
   
 
 
   hbase.zookeeper.property.clientPort
   2181
   Property from ZooKeeper's config zoo.cfg.The port at which the clients will connect.
 
 
   hbase.zookeeper.quorum
   cloud2,cloud3,cloud4
   The directory shared by RegionServers.
 
 
   hbase.zookeeper.property.dataDir
   /mnt/zookeeper-john
   Property from ZooKeeper\'s config zoo.cfg. The directory where the snapshot is stored.
 
 
   hbase.zookeeper.property.maxClientCnxns
   1000
 



阅读(2053) | 评论(1) | 转发(2) |
给主人留下些什么吧!~~

CU博客助理2014-05-22 13:10:16

嘉宾点评:
在Amazon EC2云主机上配置Hadoop和HBase的内容,文章只有配置内容,缺少描述,因此只能算是个人笔记,一般人看不懂。(建议每月提交自己较满意的文章)(感谢您参与“原创博文评选”获奖结果即将公布)