在 CDH4 中使用 eclipse 的 mapreduce 程序答案

【问题标题】：mapreduce programs using eclipse in CDH4在 CDH4 中使用 eclipse 的 mapreduce 程序
【发布时间】：2013-08-07 07:41:19
【问题描述】：

我对 Java、eclipse 和 Hadoop 还很陌生，所以如果我的问题看起来太愚蠢，请原谅我的错误。

问题是：

我在云平台上有 RHEL5 的 3 节点 CDH4 集群。 CDH4设置已经完成，现在我想写一些示例mapreduce程序来了解它。这是我对如何做到这一点的理解：要编写 Java mapreduce 程序，我必须在我的 main 服务器中安装 Eclipse，对吗？我应该选择哪个版本的 Eclipse。并且仅仅安装 eclipse 是不够的，我必须做一些设置更改，以便它可以使用我的 CDH 集群，这样做需要什么？最后但并非最不重要的一点是，你们能否推荐一些网站，我可以在其中获得更多相关信息，记住我只是所有这些方面的初学者..:)

提前谢谢... 潘卡吉

【问题讨论】：

标签： eclipse mapreduce

【解决方案1】：

Pankaj，您可以随时访问official page。除此之外，您可能会发现这些链接很有帮助：

在主服务器（主服务器=主机？？？）上不是必须有 Eclipse。 Eclipse 的最后 3 个版本中的任何一个都可以正常工作。不知道早期版本。您可以直接通过 Eclipse 运行作业，也可以在 Eclipse 中编写作业并将其导出为 jar。然后，您可以将此 jar 复制到您的 JT 机器并使用 hadoop/jar 命令通过 shell 执行它。如果您直接通过 eclipse 运行您的工作，您需要通过以下属性告诉它您的 NameNode 和 JobTracker 机器的位置：

Configuration conf = new Configuration();
conf.set("fs.default.name", "hdfs://NN_HOST:9000");
conf.set("mapred.job.tracker", "JT_HOST:9001");

（根据您的配置更改主机名和端口）。

一个快速的建议。在发布问题之前，您始终可以搜索此类内容。网上有很多信息，而且很容易获得。

HTH

【讨论】：