运行 java spark 作业有时会在初始化 spark 上下文时出现消息错误，然后出现错误无法在停止的 spark 上下文中调用方法

Question

在 spark 集群上运行 spark 程序时，我收到消息说初始化 spark 上下文时出错，然后是错误说不能在停止的 spark 上下文上调用方法。有时在运行同一个作业时，它会成功运行而不会出错。

这并不总是发生。有时作业运行良好，而有时它会给出上述消息。我尝试使用命令 ./stop-all.sh 和 ./start-all.sh 重新启动 spark。我尝试检查它说成功启动火花的日志。这个偶尔出现的错误消息可能是什么问题。会不会是磁盘空间问题或者其他原因？

谢谢...

Answer 1

此问题似乎是由于节点中的磁盘空间已满而发生的。我现在没有收到此错误。清理不需要的文件似乎已经解决了这个问题。