如何在关闭终端时在服务器上使用 python 运行我的 dse spark 应用程序？答案

【问题标题】：How can I run my dse spark app with python on a server while closing my terminal?如何在关闭终端时在服务器上使用 python 运行我的 dse spark 应用程序？
【发布时间】：2016-06-04 23:03:24
【问题描述】：

这是我的提交命令，我不知道如何在我的终端窗口关闭的情况下在后台运行它：

dse spark-submit --master spark://master:7077 --executor-memory 2G --total-executor-cores 2 --packages org.apache.spark:spark-streaming-kafka_2.10:1.4。 1 --jars /spark-streaming-kafka_2.10-1.4.1.jar /sparktest.py

【问题讨论】：

nohup 不起作用

标签： apache-spark pyspark datastax-enterprise

【解决方案1】：

您有多种选择，第一种是使用终端会话管理器，如 https://tmux.github.io/ 或 https://www.gnu.org/software/screen/，它会在您断开连接时使终端保持活动状态

另一个是在你的命令之前使用http://linux.die.net/man/1/nohup

【讨论】：

这是错误：错误：独立集群上的python应用程序目前不支持集群部署模式。

【解决方案2】：

尝试在命令末尾添加“&”：

spark-submit --master spark://master:7077 --executor-memory 2G --total-executor-cores 2 --packages org.apache.spark:spark-streaming-kafka_2.10:1.4.1 --jars /spark-streaming-kafka_2.10-1.4.1.jar /sparktest.py &

【讨论】：