• 将FairScheduler从HADOOP_HOME/bulid/contrib 复制到 HADOOP_HOME/lib目录下
  • 配置mapred-site.xml文件,添加如下信息
    • <property>
      • <name>mapred.jobtracker.taskScheduler</name>
      • <value>org.apache.hadoop.mapred.FairScheduler</value>
    • </property>
重启hadoop服务,在浏览器中键入http://<jobtracker:50030>/scheduler就会看到Web UI, job scheduler的管理界面,如下所示:
//用来显示调度器的信息(pool的配置信息等),主要的功能是查看每个作业的任务数以及fair share,管理控制pool以及作业的优先级
 
  • Configuration
    • 算法参数文件在mapred-site.xml中配置
    • pool,minimum shares,running job limits,preemption timeouts在/conf/fair-scheduler.xml中配置,这个配置文件会周期性的加载,因而,不需要我们重启集群

相关文章:

  • 2021-10-01
  • 2021-10-31
  • 2022-01-08
  • 2022-01-12
  • 2021-12-11
  • 2021-11-26
  • 2022-03-07
  • 2021-06-22
猜你喜欢
  • 2021-06-26
  • 2022-02-08
  • 2021-12-19
  • 2021-12-31
  • 2021-06-25
  • 2021-07-08
  • 2021-04-28
相关资源
相似解决方案