从 spark 构建中排除 hadoop

Question

我正在修改 hadoop 中的 hdfs 模块，并且希望在我在其上运行 spark 时也看到反射，但我仍然看到本机 hadoop 行为。我检查并看到 Spark 正在构建一个非常胖的 jar 文件，其中包含所有 hadoop 类（使用 maven 中定义的 hadoop 配置文件），并将其部署在所有工作人员上。我还尝试了 bigtop-dist，以排除 hadoop 类，但没有看到任何效果。

是否可以轻松地做这样的事情，例如通过 maven 文件中的小修改？

Answer 1

我相信您正在寻找 maven 工件上的 provided 范围。它允许您在打包中排除某些类，同时允许您针对它们进行编译（期望您的运行时环境将以正确的各自版本提供它们）。请参阅here 和here 进行进一步讨论。