从 Eclipse 在 AWS-EMR 上运行 MapReduce 作业答案

【问题标题】：Running MapReduce jobs on AWS-EMR from Eclipse从 Eclipse 在 AWS-EMR 上运行 MapReduce 作业
【发布时间】：2014-08-01 08:05:06
【问题描述】：

我在 Eclipse 中有 WordCount MapReduce 示例。我将其导出到 Jar，然后将其复制到 S3。然后我在 AWS-EMR 上运行它。成功。

然后，我读了这篇文章 - http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-common-programming-sample.html 它展示了如何使用 AWS-EMR Api 运行 MapReduce 作业。它仍然假定您的 MapReduce 代码打包在一个 Jar 中。

我想知道是否有一种方法可以直接在 AWS-EMR 上从 Eclipse 运行 MapReduce 代码，而无需将其导出到 Jar。

【问题讨论】：

标签： java jar mapreduce elastic-map-reduce amazon-emr

【解决方案1】：

我还没有找到一种方法来做到这一点（对于用 Java 编写的 mapreduce 作业）。我相信没有 Eclipse 实用程序或插件可以做到这一点。您可以编写某种脚本并将其合并到您的构建过程中，以将 Jar 推送到您的 EMR 集群。但是没有单一的实用程序/工具可以将您的 mapreduce 作业编译、捆绑、部署和执行到 EMR。

【讨论】：