用于 Spark 2.2.0 的 Jupyter 上的 Toree答案

【问题标题】：Toree on Jupyter for Spark 2.2.0用于 Spark 2.2.0 的 Jupyter 上的 Toree
【发布时间】：2017-10-14 17:48:23
【问题描述】：

OS X El Capitan 10.11.6
Spark 2.2.0 (local)
Scala 2.11.8

我通过安装anaconda3 使用Jupyter。我的理解是，Toree 的最新生产版本不支持 Spark 2.0+ 或 Scala 11。但是我找到了几个参考（1、2），您可以在其中从 github 克隆 incubator-toree 并手动设置Spark的版本。

在我的 mac 终端中，这是我使用的代码：

git clone https://github.com/apache/incubator-toree
cd incubator-toree

然后，make clean release APACHE_SPARK_VERSION=2.2.0 行给了我以下错误：

rm -r dist
rm: dist: No such file or directory
make: [clean-dist] Error 1 (ignored)
APACHE_SPARK_VERSION=2.2.0 VERSION=0.2.0.dev1-incubating IS_SNAPSHOT=true sbt clean
/bin/sh: sbt: command not found
make: *** [clean] Error 127

我正在寻找有关此错误的指导。

【问题讨论】：

sbt: command not found...你没有安装sbt，是吗？

标签： scala apache-spark jupyter-notebook jupyter apache-toree

【解决方案1】：

通过运行以下命令安装开发者快照

pip install https://dist.apache.org/repos/dist/dev/incubator/toree/0.2.0/snapshots/dev1/toree-pip/toree-0.2.0.dev1.tar.gz

此版本支持spark-2.2.0

【讨论】：

如果您在使用该 URL 时遇到超时，请尝试此 Toree。这对我有用。
@ashwinids @jyu 大家有没有在 Jupyter 中使用这个内核运行基本的 Spark Scala 命令时遇到问题？像.toDF 和$"columnName" 这样简单的东西会抛出错误。