如何设置检查点目录 PySpark Data Science Experience答案

【问题标题】：how to set checkpiont dir PySpark Data Science Experience如何设置检查点目录 PySpark Data Science Experience
【发布时间】：2018-03-07 19:34:41
【问题描述】：

您能否帮助我提供有关如何在 IBM 的 Data Science Experience 上为 PySpark 会话设置检查点目录的说明？

需要是因为我必须从 GraphFrames 运行 connectedComponents() 并引发以下错误

Py4JJavaError: An error occurred while calling o221.run.
: java.io.IOException: Checkpoint directory is not set. Please set it first using sc.setCheckpointDir().

【问题讨论】：

你试过sc.setCheckpointDir()吗？错误信息很清楚，不是吗？
是的，但是我不知道应该放哪个具体目录。

标签： pyspark data-science-experience

【解决方案1】：

主要问题是获取笔记本具有的目录作为工作目录，以使用sc.setCheckpointDir() 设置检查点目录。这可以很容易地完成

!pwd

然后，应该在该路线上创建一个检查点目录

!mkdir <pwd_output>/checkpoints

最后设置检查点

spark.sparkContext.setCheckpointDir('<pwd_output>/checkpoints')

【讨论】：