hadoop fair scheduler调度器

Mapreduc 原始配置 ：

/etc/hadoop-0.20/conf.my_cluster/mapred-site.xml

我们的配置注意修改的地方 ：

a)        S大写

mapred.jobtracker.taskScheduler

org.apache.hadoop.mapred.FairScheduler

 

b)       添加两个配置

   

    mapred.fairscheduler.preemption

    true

 

 

 

    mapred.fairscheduler.assignmultiple

    true

 

 

 

账户资源配置 ：

/etc/hadoop-0.20/conf.my_cluster/fair-scheduler.xml

    
       10   
       10   
       20   
       300   
       2.0
     

      10
  

 

账户权限配置 ：

/etc/hadoop-0.20/conf.my_cluster/mapred-queue-acls.xml

 

Value是账户， web 为 队列

mapred.queue.web.acl-administer-jobs

*