正确关闭 PySpark 笔记本

【问题标题】：Closing PySpark notebook properly正确关闭 PySpark 笔记本
【发布时间】：2017-01-27 16:06:35
【问题描述】：

我正在使用带有 PySpark 的 Jupyter notebook，它使用 Spark 作为内核。

问题是我不知道如何正确关闭它，而且我的印象是有些东西一直挂着，因为笔记本运行的驱动程序上的内存已满并崩溃（我得到 GC 开销异常） .

我通过简单地使用我保存到 .pid 文件的进程 ID 杀死笔记本来关闭整个事情。但是我感觉下面这个状态记好：

实际问题是什么以及如何解决它，即如何正确关闭整个事物（在驱动程序和纱线上）？

【问题讨论】：

【解决方案1】：

您应该在 Jupyter 中使用“文件”->“关闭并停止”。这将关闭 spark 上下文并从会话中终止纱线容器。

【讨论】：

感谢您的回答。我在做什么有什么不同吗？
我不确定，使用 jupyter 菜单在我的环境中始终有效，即使驱动程序出现内存不足异常。也许你杀死了错误的进程？
我认为不是。但是您知道我遇到了什么样的问题吗？因为即使我没有关闭笔记本，这些 spark shell 实例似乎也在累积，也就是说，在它们累积的工作期间，最后我在 spark ui 中显示 GC 开销错误。