如何不通过终端提交带有 jar 的 MapReduce 作业？（以编程方式）答案

【问题标题】：How to submit MapRecude job with jar not by terminal? (programmatically)如何不通过终端提交带有 jar 的 MapReduce 作业？（以编程方式）
【发布时间】：2015-01-04 15:58:01
【问题描述】：

我是 Hortonworks 的新手（使用 yarn、hadoop 2.6）并尝试研究如何提交 MapReduce，但我不想使用终端命令来完成，我想以编程方式完成。我想编写外部java程序来运行MR jar。

我看过这里： Cluster_Applications_API(Submit_Application)

我发现需要获取一个新的应用程序 ID：

Cluster_New_Application_API

但是当我使用他们描述的内容时：“_http://[my host ip]:[port=8088]/ws/v1/cluster/apps/new-application” 我得到了例外：

<RemoteException>
<exception>WebApplicationException</exception>
<javaClassName>javax.ws.rs.WebApplicationException</javaClassName>
</RemoteException>

我错过了什么吗？有人有提交和监控 MR 作业的 REST 示例代码吗？

谢谢！

【问题讨论】：

可能重复 - How can I run mapreduce job by Hadoop 2.5.1 Rest api?

标签： api rest hadoop mapreduce hadoop-yarn

【解决方案1】：

不能完全回答您的问题 - 但您可以尝试从 bash 脚本运行作业，并使用 bash 实现您想要启动作业的任何自动逻辑。如果使用 java 至关重要，您可以根据需要从外部调用您创建的脚本（运行作业）。

【讨论】：

【解决方案2】：

我也面临同样的情况。发现是http请求问题。确保这件事 - 您正在使用 POST - 并且标头有 Accept: application/xml

稍后，您可能还需要 Content-Type: application/xml 或 Content-Type: application/json

【讨论】：