【问题标题】:Set Up and run WordCount Hadoop 1.2.1 on Eclipse在 Eclipse 上设置和运行 WordCount Hadoop 1.2.1
【发布时间】:2015-11-28 04:55:49
【问题描述】:

我设置了 Hadoop 1.2.1 单节点。我想在 Eclipse Mars 上运行 Hadoop 1.2.1 示例的 WordCount,你能指导我吗,告诉我如何逐步做到这一点?谢谢

【问题讨论】:

    标签: hadoop word-count


    【解决方案1】:
    1. 创建一个 Java Maven 项目,并在 POM.xml 文件中包含 MapReduce Jars 所需的所有 jar(即您当前的 hadoop 版本)
    2. Maven 构建您的应用程序。
    3. 创建一个扩展 Mapper 和 Reducer 类的 Java 类,并在 Main 方法中定义 Job 配置。
    4. 将其保存为 Jar 并在终端中运行,这将在集群模式和伪模式下运行。
    5. 如果你想使用 Eclipse 运行它,从 eclipse 中运行它,它将在 eclipse 中以伪模式运行。

    供参考请参考以下链接,在 Mapreduce 编程中配置 Input 输出路径,创建 Maven 项目。

    https://hadoopi.wordpress.com/2013/05/25/setup-maven-project-for-hadoop-in-5mn/

    注意:在Path里设置Hadoop路径,希望你在安装的时候已经配置好了。

    或者,您也可以通过复制所有 Hadoop jar(即 hadoop-core、log4j 等)来创建项目,而无需 Maven 构建,但这不是最佳做法。

    【讨论】:

      猜你喜欢
      • 2014-11-11
      • 2013-04-14
      • 2015-04-02
      • 1970-01-01
      • 2012-11-30
      • 1970-01-01
      • 1970-01-01
      • 2015-06-11
      • 1970-01-01
      相关资源
      最近更新 更多