【问题标题】:Is it possible to run the map reduce job in oozie 4.1.0 with hadoop 2.5.2是否可以使用 hadoop 2.5.2 在 oozie 4.1.0 中运行 map reduce 作业
【发布时间】:2014-12-31 10:32:37
【问题描述】:

我是 oozie 的新手,可以使用 hadoop 2.5.2oozie 4.1.0 中运行 mapreduce 作业 .???

请指导我!

【问题讨论】:

  • 您有什么特殊问题吗?正如您提到的 2.5.2 和 2.6.0,您指的是哪个版本的 Hadoop?
  • 是的,我正在使用 2.5.2 !!那里有调度程序问题吗?在运行 oozie 时!因为一旦我提交工作,它就只能处于接受状态。会发生心跳问题。我该怎么办??

标签: java hadoop mapreduce oozie


【解决方案1】:

应该是内存问题。在 yarn-site.xml 中设置以下属性并尝试运行作业,

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>20960</value>
</property> 
<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>512</value>
</property>
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>2048</value>
</property> 

【讨论】:

  • 是的!我已经检查过了,谢谢你的宝贵回答!
猜你喜欢
  • 1970-01-01
  • 2017-07-17
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2023-03-08
  • 1970-01-01
相关资源
最近更新 更多