Spark 提交作业在集群模式下失败，但在本地用于 java 中 HDFS 的 copyToLocal

Question

我正在运行 Java 代码以在 spark 提交中使用 Spark 集群模式将文件从 HDFS 复制到本地。 该作业在本地火花中运行良好，但在集群模式下失败。 它抛出一个 java.io.exeception：目标 /mypath/ 是一个目录。

我不明白为什么它在集群中失败。但我在本地没有收到任何异常。

Answer 1

这种行为是因为在第一种情况下（本地），您的驱动程序位于运行整个 Spark 作业的同一台机器上。在第二种情况（集群）中，您的驱动程序被运送到您的一名工作人员并从那里执行流程。

一般来说，当你想以集群模式运行 Spark 作业并且需要预处理 JSON、XML 等本地文件时，你需要使用以下语句将它们与可执行文件一起发送 @987654322 @。然后在您的驱动程序中，您将能够看到该特定文件。如果要包含多个文件，请将它们以逗号(,) 分隔。

方法同理，当你想添加一些jars依赖时，需要使用--jars <myJars>。

有关此的更多详细信息，请查看this thread。