【问题标题】:how turn off speculative execution in hadoop source code in eclipse如何在eclipse中关闭hadoop源代码中的推测执行
【发布时间】:2017-04-18 00:48:53
【问题描述】:

我需要在hadoop源代码中关闭它,我在eclipse中找不到它的包。 https://hadoop.apache.org/docs/stable/api/org/apache/hadoop/mapreduce/Job.html#setReduceSpeculativeExecution%28boolean%29

【问题讨论】:

  • 为什么需要源代码?您可以通过以下配置关闭推测执行:mapreduce.map.speculativemapreduce.reduce.speculative
  • 我需要包名和类名。

标签: java eclipse hadoop hadoop2


【解决方案1】:

如果您想禁用推测执行,请将这些属性添加到mapred-site.xml

<property>
   <name>mapreduce.map.speculative</name>
   <value>false</value>
</property>
<property>
   <name>mapreduce.reduce.speculative</name>
   <value>false</value>
</property>

或者在 Job 级别,设置 Driver 类中的属性。

Configuration conf = new Configuration();
conf.set(“mapreduce.map.speculative”,false);
conf.set(“mapreduce.reduce.speculative”,false);

有关其源代码,请参阅:hadoop-mapreduce-projectJobJobConf

【讨论】:

    猜你喜欢
    • 2014-06-09
    • 1970-01-01
    • 1970-01-01
    • 2014-07-19
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-02-16
    相关资源
    最近更新 更多