spark-submit 将包添加到工作节点

Question

如果我使用 spark-submit 和 --packages 并提供一个 maven 包，该包会添加到工作节点，还是仅添加到主节点？

我正在使用 --packages 参数并指定单个 maven 依赖项。我已经获得了驱动程序 pod 的外壳，并确认 jar 正在下载到驱动程序。

但是，工作人员日志会抛出 ClassNotFoundExceptions 用于此依赖项的一部分的类。我希望依赖于主节点而不是工作节点。

如何将此依赖项添加到工作节点？

Answer 1

正如文档中提到的：

https://spark.apache.org/docs/latest/submitting-applications.html

使用 spark-submit 时，应用程序 jar 以及包含在 --jars 选项中的任何 jar 将自动传输到集群。 --jars 之后提供的 URL 必须用逗号分隔。该列表包含在驱动程序和执行程序类路径中。目录扩展不适用于 --jars。

用户还可以通过使用 --packages 提供逗号分隔的 Maven 坐标列表来包含任何其他依赖项。

是的，jar 将被上传到集群，因此工作节点上的所有 jvm。