从 Windows 机器提交时 Mapreduce 作业失败答案

【问题标题】：Mapreduce job fail when submitted from windows machine从 Windows 机器提交时 Mapreduce 作业失败
【发布时间】：2014-07-27 08:38:40
【问题描述】：

我正在尝试从 Windows 机器向 Linux 上的 hadoop 集群提交 M/R 作业。我正在使用 hadoop 2.2.0 (HDP 2.0)。

我收到以下错误：

2014-06-06 08:32:37,684 [main] INFO  Job.monitorAndPrintJob  - Job job_1399458460502_0053 running in uber mode : false
2014-06-06 08:32:37,704 [main] INFO  Job.monitorAndPrintJob  -  map 0% reduce 0%
2014-06-06 08:32:37,717 [main] INFO  Job.monitorAndPrintJob  - Job job_1399458460502_0053 failed with state FAILED due to: Application application_1399458460502_0053 failed 2 times due to AM Container for appattempt_1399458460502_0053_000002 exited with  exitCode: 1 due to: Exception from container-launch: 
org.apache.hadoop.util.Shell$ExitCodeException: /bin/bash: line 0: fg: no job control

    at org.apache.hadoop.util.Shell.runCommand(Shell.java:464)
    at org.apache.hadoop.util.Shell.run(Shell.java:379)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:589)
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:283)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:79)
    at java.util.concurrent.FutureTask.run(FutureTask.java:262)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:744)


.Failing this attempt.. Failing the application.

java.io.IOException: Job failed!

我使用从集群中获取的配置，所以应该完全匹配。

任何提示或线索，可能有什么问题？

谢谢

【问题讨论】：

能上传NM日志和job.xml吗？
Thx 找到了解决方案。顺便说一句：我在哪里可以找到 job.xml - 我们刚刚迁移到 hadoop 2，我还是有点陌生。
我们仍在使用独立模式解决此问题stackoverflow.com/questions/24044631/…。你不知道它是否至少有效？或者可能是什么问题？非常感谢
job.xml 将在您的 NM 本地目录中，例如。 <local-dir>/Hadoop/local/usercache/$user/appcache/$appid/$attempt_container_id/job.xml（简单，嘿？）。一段时间后，它会被 HDFS 中某处的 historyserver 删除和收集。但您也可以在 historyserver Web UI 中找到它。

标签： windows hadoop mapreduce hadoop-yarn

【解决方案1】：

conf.set("mapreduce.app-submission.cross-platform", "true");

【讨论】：

【解决方案2】：

我找到了解决方案。是官方报告的bug

https://issues.apache.org/jira/browse/MAPREDUCE-4052

在讨论中提到了解决方法。解决方法对我来说很好。似乎那些在客户端解决了问题的错误永远是绿色的。

【讨论】：

【解决方案3】：

我有一个类似的问题。现在它对我有用。检查以下链接

Error while running Mapreduce(yarn)from windows eclipse

【讨论】：