未找到 Spark Cell 魔法

Question

我有 python2 环境。在带有 jupyter notebook 的 Windows 10 上。

按照本教程中的说明，我设法在 Windows 10 上安装了 spark： https://medium.com/@GalarnykMichael/install-spark-on-windows-pyspark-4498a5d8d66c

但是当我尝试为 SQL 运行单元魔术时，我收到以下错误：

ERROR:root:Cell magic %%sql not found.

当我使用 %lsmagic 时，我在其中找不到 sql 单元魔法。

我还注意到在 Jupyter 中启动新笔记本时没有 pyspark 内核选项。

Answer 1

您是在尝试使用 SQL 还是 Spark-SQL？我用过iPython-SQL，这很棒，还有SparkMagic，听起来像你要找的。尝试安装 SparkMagic，它确实使用了 %%sql 魔法。