在 Jupyter 上使用 Spark 内核答案

【问题标题】：Using Spark Kernel on Jupyter在 Jupyter 上使用 Spark 内核
【发布时间】：2016-07-17 11:01:32
【问题描述】：

所以我刚刚开始使用 Jupyter 和笔记本的想法。

我通常在 VIM 和终端中编程，所以我仍在尝试找出一些东西。

我正在尝试使用 Toree 内核。

我正在尝试安装一个能够执行 spark 的内核并且遇到了 Toree。我安装了 toree，它在我运行内核列表时出现。结果如下：

$ jupyter kernelspec list Available kernels: python3 C:\Users\UserName\AppData\Local\Continuum\Anaconda3\lib\site-packages\ipykernel\resources bash C:\Users\UserName\AppData\Roaming\jupyter\kernels\bash toree C:\ProgramData\jupyter\kernels\toree

所以当我打开一个 toree notebook 时，内核会死掉并且不会重新启动。关闭笔记本并重新打开它会导致内核更改为 Python3。

有一个大的错误消息被打印到主机终端和笔记本错误消息。还有一个职位被搁置；它们是相同的错误消息。

我按照此页面进行安装： https://github.com/apache/incubator-toree

这些说明大多是针对 Linux/Mac 出现的。

关于如何在 Jupyter 上获取 spark notebook 的任何想法？

我知道这里没有太多信息，如果需要更多信息。告诉我。

【问题讨论】：

哪个内核？蟒蛇？
对不起...我会尽快编辑。我尝试使用的内核是 Toree Windows 7 OS
这可能会帮助你Link Spark with iPython Notebook

标签： apache-spark jupyter jupyter-notebook

【解决方案1】：

我向 Gitter 发布了一个类似的问题，他们回答说（转述）：

Toree 是 Jupyter 上 Spark 编程的未来，它似乎已正确安装在 Windows 机器上，但 .jar 和 .sh 文件无法在 Windows 机器上正确运行。

知道了这一点，我在我的 Linux (Fedora) 和借来的 Mac 上进行了尝试。一旦安装了 jupyter（和 Anaconda），我就输入了这些命令：

$ SparkHome="~/spark/spark1.5.5-bin.hadoop2.6"
$ sudo pip install toree
 Password: **********
$ sudo jupyter toree install --spark_home=$SparkHome

Jupyter 在两台机器上都运行了 toree notebook。我认为虚拟机也可以工作。我想看看在我运行 Windows 7 时 Window 的 10 bash shell 是否也可以使用它。

感谢其他文档！

【讨论】：

【解决方案2】：

@user3025281 的回答也为我解决了这个问题。我必须对我的环境（运行 Spark 2.2.0 和 Hadoop 2.7 的 Ubuntu 16.04 Linux 发行版）进行以下调整。下载是从托管站点或镜像站点直接下载文件。

您将主要配置环境变量，然后调用 jupyter，假设它是通过 anaconda 安装的。差不多就这些了

SPARK_HOME="~/spark/spark-2.2.0-bin-hadoop2.7"

将此写入您的~/.bashrc 文件，然后在`.bashrc 上调用源代码

# reload environment variables
source ~/.bashrc`

安装

sudo pip install toree
sudo jupyter toree install --spark_home=$SPARK_HOME

可选：在 Windows 10 上，您可以使用“Bash on Ubuntu on Windows”在 linux 发行版上配置 jupyter

【讨论】：