我正在通过我的边缘节点提交我的 spark-submit 命令命令。为此，我正在使用客户端模式，现在我正在通过笔记本电脑访问我的边缘节点（与我的集群位于同一网络上）。我知道驱动程序在我的边缘节点上运行，我想知道的是，为什么当我关闭与边缘节点的 ssh 会话时，我的 spark-job 会自动挂起？通过 VPN/无线互联网打开 Edge Node putty 连接对 spark 作业与使用网络内的以太网电缆有任何影响吗？目前spark提交工作很慢，虽然集群真的很强大！请大家帮忙！
谢谢！
【问题讨论】：
标签： hadoop apache-spark hdfs hadoop-yarn
您正在使用--master yarn 提交作业，但您可能没有指定--deploy-mode cluster，因此驱动程序应用程序（您的Java 代码）在此边缘节点 机器上本地运行。选择 --deploy-mode cluster 时，驱动程序将在您的集群上运行，并且总体上会更加健壮。
当您关闭ssh 连接时，火花作业会终止，因为您在执行此操作时正在杀死驱动程序，它正在您的终端会话中运行。为避免这种情况，您必须在spark-submit 末尾使用& 将命令作为后台作业发送。例如：
spark-submit --master yarn --class foo bar zaz &
这会将驱动程序发送到后台，stdout 将发送到您的 tty，当您关闭 ssh 连接时会污染您的会话但不会终止进程。
但是，如果您不希望它受到如此严重的污染，您可以通过以下方式将stdout 发送到/dev/null：
spark-submit --master yarn --class foo bar zaz &>/dev/null &
但是，您不会知道失败的原因。您也可以将标准输出重定向到文件而不是 /dev/null。
最后，一旦这一点足够清楚，我强烈建议不要像这样部署你的 spark 作业，因为 edge 节点 中的驱动程序进程因任何奇怪的原因而失败都会杀死在集群中运行的作业。它还有一个奇怪的行为，因为集群中的工作死亡（一些运行时问题）不会停止也不会杀死 edge 节点中的驱动程序，如果你在该机器上浪费大量内存不要照顾手动杀死该机器中所有那些旧的驱动程序进程。
在您的 spark 提交中使用标志 --deploy-mode cluster 可以避免所有这些。
【讨论】：