打包运行 Hadoop MapReduce 应用程序所需的所有 jar 文件的好方法？ [关闭]

Question

我使用 Eclipse 构建了一个 MapReduce 应用程序。它还使用 HCatalog 和 Hive jar 文件。这个应用程序是在本地 Hadoop 安装的 Eclipse 项目中开发的。所有必需的 jar 文件都简单地从本地节点上安装 Hadoop 和 Hive 的目录中包含在 Eclipse 项目中。

现在我需要运行这个应用程序。在安装在其他地方的多节点 Hadoop 上。请就 tp 将所有必要的 jar 包在单个应用程序中的最佳方式提出建议。或者我应该在我计划运行我的应用程序的节点上设置 CLASSPATH 吗？最好在 Eclipse 中构建一个自给自足的 jar。

谢谢！

Answer 1

Maven 是一个非常好的构建工具 - http://maven.apache.org/ 它可以将你所有的类打包到一个 jar 中，还可以在其中添加所有需要的 jar 库。

您可以将现有项目转换为 Maven，方法是右键单击项目并选择菜单配置 > 转换为 Maven 项目。然后在 pom.xml 中添加需要的依赖。

示例依赖项如下所示。

   <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.0.0-cdh4.0.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-auth</artifactId>
            <version>2.0.0-cdh4.0.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.0.0-cdh4.0.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-core</artifactId>
            <version>2.0.0-mr1-cdh4.0.1</version>
        </dependency>

另见http://hadoopi.wordpress.com/2013/05/25/setup-maven-project-for-hadoop-in-5mn/