Pyspark 与 Jupyter 的集成答案

【问题标题】：Pyspark integration with JupyterPyspark 与 Jupyter 的集成
【发布时间】：2017-04-04 12:27:33
【问题描述】：

我已经在我的机器上安装了 Anaconda（python 2.7 版本），并使用“PYSPARK_DRIVER_PYTHON=jupyter”和 PYSPARK_DRIVER_PYTHON_OPTS="notebook" 启动了 jupyter notebook，我正在连接到 jupyter notebook 但也无法运行“print”命令.当我运行命令时，它会转到下一行但不显示输出，并且打印不会以颜色突出显示。

我已经安装了 pyspark 并在我的 Windows 机器（独立模式）中的命令提示符下运行，并且工作正常.....但我需要在 jupyter notebook（windows）中运行。有人可以帮帮我吗？

【问题讨论】：

您是否遇到任何错误？您可以在笔记本中创建 SparkContext 吗？
SparkContext 是否正在关闭？？
完全没有错误，只是没有显示输出，只是在我运行时它会进入下一行。
@RahulLakhanpal “print sc”语句也不起作用

标签： pyspark jupyter

【解决方案1】：

当您已经正确设置了 pyspark shell 时，这就是您在 Windows 上使用 Jupyter 设置 Pyspark 所需要做的所有事情。

新增2个环境变量，设置
- PYSPARK_DRIVER_PYTHON给jupyter
- PYSPARK_DRIVER_PYTHON_OPTS 到笔记本
在 CMD 提示符下运行 pyspark 而不是“jupyter notebook”

这应该可以解决问题。

【讨论】：

【解决方案2】：

有关最新设置，请查看他们的官方 jupyter docker repo。

它是带有 Spark 2.1.0、Hadoop 2.7 的 Jupyter 4.x

docker run -it --rm -p 8888:8888 jupyter/pyspark-notebook

Jupyter Notebook Python, Spark, Mesos Stack

作为旁注，

1 jupyter 使用配置文件，而 ipython 使用配置文件。我相信如果你想在本地独立运行 spark。看看 Dockerfile，看看有什么神奇之处。

2 https://github.com/jupyter/docker-stacks 中的更多金币

【讨论】：