Apache Spark：JAR 文件未在 spark-submit 上提供

【问题标题】：Apache Spark: JAR file not shipped on spark-submitApache Spark：JAR 文件未在 spark-submit 上提供
【发布时间】：2015-12-02 13:39:14
【问题描述】：

Spark 不会自动将 JAR 文件（包含 spark 应用程序）从 master 传送到 slave 是否正常？在早期版本中（并在 Amazon Webservices 上使用）它有效！自 1.2.2 版以来此功能是否发生了变化，还是由没有公共 dns 地址的集群引起的问题？？？还是这个“自动复制 jar”功能只在 AWS 集群中有效？

这里是我的提交调用：

./spark-submit --class prototype.Test --master spark://192.168.178.128:7077 --deploy-mode cluster ~/test.jar

信息：--jars 参数列出的文件被“复制”到工作人员。

【问题讨论】：

标签： apache-spark cluster-computing

【解决方案1】：

那是我自己的错！ -> 不要使用参数 --deploy-mode 来使用标准集群，其中驱动程序进程计划在主节点上运行。

请参阅 Spark 文档：https://spark.apache.org/docs/latest/submitting-applications.html

--deploy-mode：是在工作节点（集群）还是本地部署驱动程序作为外部客户端（客户端）（默认：客户端）[...]

一种常见的部署策略是从物理上与您的工作机器位于同一位置的网关机器（例如，独立 EC2 集群中的主节点）提交您的应用程序。在此设置中，客户端模式是合适的。在客户端模式下，驱动程序直接在作为集群客户端的 spark-submit 进程中启动。应用程序的输入和输出附加到控制台。因此，这种模式特别适用于涉及 REPL 的应用程序（例如 Spark shell）。 [...]

【讨论】：