spark-submit 在集群模式下。无法将应用程序 jar 传输到驱动程序节点答案

【问题标题】：spark-submit in cluster mode. not able to transfer application jar to driver nodespark-submit 在集群模式下。无法将应用程序 jar 传输到驱动程序节点
【发布时间】：2015-04-29 05:47:02
【问题描述】：

我有 3 个节点集群节点 A、B、C。在 A ，B 上运行主机，在 A.B 和 C 上运行从机。当我使用以下命令从节点 A 运行 spark-submit 时。

/usr/local/spark-1.3.0-bin-hadoop2.4/bin/spark-submit   --class com.test.SparkExample --deploy-mode cluster --supervise --master spark://master.com:7077  file:///home/spark/sparkstreaming-0.0.1-SNAPSHOT.jar

驱动程序启动到节点 B 并尝试在节点 B 的本地文件系统中查找应用程序 jar。我们是否需要手动传输每个主节点上的应用程序 jar。是已知的错误吗？或者我错过了一些东西。请建议

谢谢

【问题讨论】：

标签： apache-spark spark-streaming

【解决方案1】：

是的，根据官方文档https://spark.apache.org/docs/latest/submitting-applications.html，它应该存在于每个节点上。

顺便说一句，可以把文件放在hdfs。

【讨论】：