如何让 iPython inbuild 魔术命令在 Jupyter notebook Pyspark 内核中工作？答案

【问题标题】：How to get iPython inbuild magic command to work in Jupyter notebook Pyspark kernel?如何让 iPython inbuild 魔术命令在 Jupyter notebook Pyspark 内核中工作？
【发布时间】：2016-09-19 09:44:17
【问题描述】：

我正在使用通过Apache Toree 在Jupyter Notebook 中使用Anaconda v4.0.0 (Python 2.7.11) 安装的PySpark 内核。从Hive 获取表格后，使用matplotlib/panda 在 Jupyter notebook 中绘制一些图表，如下所示：

%matplotlib inline
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# Set some Pandas options
pd.set_option('display.notebook_repr_html', False)
pd.set_option('display.max_columns', 20)
pd.set_option('display.max_rows', 25)

normals = pd.Series(np.random.normal(size=10))
normals.plot()

当我尝试使用显示的 %matplotlib inline 时，我被困在第一个链接上

Name: Error parsing magics!
Message: Magics [matplotlib] do not exist!
StackTrace:

查看Toree Magic 和MagicManager，我意识到%matplotlib 正在调用MagicManager 而不是iPython in-build 魔术命令。

Apache Toree - PySpark 是否可以改用 iPython 内置魔法命令？

【问题讨论】：

安装matplotlib?
@zero323 我可以导入matplotlib，但是当我尝试在Jupyter notebook 控制台上运行%matplotlib inline 时显示16/09/20 09:40:24 ERROR magic.MagicManager: No magic found for matplotlib 有没有办法让iPython 魔法发挥作用？

标签： matplotlib ipython pyspark jupyter apache-toree

【解决方案1】：

我为 PySpark 和魔法命令工作做了一个变通方法，而不是安装 Toree PySpark kernel 我正在使用 PySpark directly on Jupyter Notebook。

下载并安装Anaconda2 4.0.0
下载Spark 1.6.0为Hadoop 2.6预建
使用以下命令追加~/.bashrc并输入source ~/.bashrc以更新环境变量

# 添加到运行 spark
导出 PATH="{your_spark_dir}spark/sbin:$PATH"
导出 PATH="{your_spark_dir}spark/bin:$PATH"

# 添加以在集群模式下启动 Spark 应用程序
导出 JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre

# 接下来的 2 行是可选的，只需要 Spark Cluster 导出 HADOOP_CONF_DIR={your_hadoop_conf}/hadoop-conf
导出 YARN_CONF_DIR={your_hadoop_conf}/hadoop-conf

#由 Anaconda2 4.0.0 安装程序添加
导出 PATH="{your_anaconda_dir}/Anaconda/bin:$PATH"

# 添加以在 jupyter notebook 中运行 pyspark
导出 PYSPARK_DRIVER_PYTHON={your_anaconda_dir}/Anaconda/bin/jupyter
导出 PYSPARK_DRIVER_PYTHON_OPTS="notebook --NotebookApp.open_browser=False --NotebookApp.ip='0.0.0.0' --NotebookApp.port=8888"
导出 PYSPARK_PYTHON={your_anaconda_dir}/Anaconda/bin/python

运行 Jupyter Notebook

pyspark --master=yarn --deploy-mode=client 启动笔记本运行 PySpark in cluster mode
打开浏览器，输入IP_ADDRESS_OF_COMPUTER:8888

免责声明
这只是一种解决方法，而不是解决问题的实际方法，如果您找到了Toree PySpark ipython inbuild 魔术命令工作的方法，请告诉我。魔术命令如%matplotlib notebook

【讨论】：