如何只编译Hadoop的压缩模块？答案

【问题标题】：How to compile only the compression module of Hadoop?如何只编译Hadoop的压缩模块？
【发布时间】：2019-07-18 07:38:18
【问题描述】：

我正在尝试为 Hadoop 开发一种新的编解码器压缩。首先，我想知道是否有在 Hadoop 中实现新编解码器的相同教程。因此，我尝试通过更改最终扩展名来编辑几个默认编解码器，例如 Snappy 或 Deflate，例如，我将 Deflate 的扩展名更改为“.dummy”。但问题在于编译阶段，因为要在 Hadoop 中上传新的编解码器代码。为了正确上传代码，每次我想检查代码中的新编辑时都会进行新的重新编译。

我怎样才能加快这个过程？

我尝试使用以下命令执行编译：

mvn package -Pdist,native 代码编辑一次，
mvn compile -pl Hadoop-common-project
mvn install -pl Hadoop-common-project

但是之前的测试最差结果已经报告了。

【问题讨论】：

标签： maven hadoop compilation compression codec

【解决方案1】：

我已经通过编译位于 Hadoop-common-project/hadoop-common 的包解决了。在上一个文件夹中，有一个 pom.xml 文件。之后我通过以下方式运行 mvn 编译：

mvn package -Pdist,native -DskipTests

因此，我将位于 target 文件夹中的 jar 复制到 $HADOOP_HOME/share/hadoop/common。之前的步骤可以让我们在 Hadoop 中使用我们的编解码器，然后在 mapred-site.xml 文件中指定它。

【讨论】：