如何通过 Maven 将 Hadoop 添加到依赖项？

Question

我正在尝试构建一个 apache flink 作业，该作业必须通过 HDFS 访问文件。它在本地运行良好，但是当我将作业提交到 flink 集群时，出现错误：

Hadoop is not in the classpath/dependencies.

我正在使用 Maven shade 插件来构建我的 job.jar。 Flink 集群没有 Hadoop jar，所以我必须将它们全部添加到作业本身。

在本地，我必须在我的 IDE 设置中添加选项“将具有“提供”范围的依赖项添加到类路径以使其工作，但我不知道如何使用 maven 来做到这一点。

pom.xml

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>${dep.flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_2.11</artifactId>
            <version>${dep.flink.version}</version>
            <scope>provided</scope>
        </dependency>
...
<build>
        <plugins>

            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>${plugin.maven-compiler.version}</version>
                <configuration>
                    <source>${project.build.targetJdk}</source>
                    <target>${project.build.targetJdk}</target>
                </configuration>
            </plugin>

            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>${plugin.maven-shade.version}</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <minimizeJar>true</minimizeJar>
                            <relocations>
                                <relocation>
                                    <pattern>org.apache.commons.cli</pattern>
                                    <shadedPattern>org.test.examples.thirdparty.commons_cli</shadedPattern>
                                </relocation>
                            </relocations>
                            <filters>
                                <!-- Filters out signed files to avoid SecurityException when integrating a signed jar in the resulting jar. -->
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

Answer 1

如果您在 YARN 上阅读 yarn deployment。

确保设置了 HADOOP_CLASSPATH 环境变量（可以通过运行echo $HADOOP_CLASSPATH 进行检查）。如果没有，请使用

    export HADOOP_CLASSPATH=`hadoop classpath`

要添加 maven 依赖项，您可以转到 maven repo 搜索您想要的工件，选择您的版本，您将在页面上有一个依赖项代码将其添加到您的 .pom 文件中：

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-hadoop-compatibility_2.11</artifactId>
    <version>1.13.1</version>
    <scope>test</scope>
</dependency>

你把它加在标签<dependencies></dependencies>之间