Matplotlib 使用 AWS-EMR jupyter notebook 绘图答案

【问题标题】：Matplotlib Plotting using AWS-EMR jupyter notebookMatplotlib 使用 AWS-EMR jupyter notebook 绘图
【发布时间】：2019-03-31 20:00:19
【问题描述】：

我正在尝试在 AWS-EMR 实例上的 jupyter 笔记本中使用 Matplotlib 绘制数据。 Matplotlib 必须在实例启动时通过引导操作安装，我已经成功完成了。我也以这种方式成功安装了 Pandas（并将其用于我笔记本中的各种事情）。典型的%matplotlib inline 不起作用。（事实上，AWS-EMR 笔记本上似乎没有任何魔法命令。我怀疑 AWS 已经禁用了这些，或者它与笔记本的“无服务器”有关。）

我试过了：

安装 matplotlib==2.0.2 并使用魔术命令%matplotlib inline（如上所述，魔术命令似乎根本不起作用）
安装 matplotlib==1.5，安装 ipympl，并使用 import ipympl。在尝试.show() 绘图时，我没有收到使用此方法的错误，但也没有显示绘图。单元格在笔记本中运行，没有出现任何绘图。据我所知，.show() 什么都不做。

【问题讨论】：

标签： amazon-web-services matplotlib amazon-ec2 pyspark

【解决方案1】：

编辑：

检查 Parag Chaudhari 的关于在火花模式下绘图的答案。

在发布标签上测试：emr-5.21.0

EMR 笔记本的 spark 魔术内核中没有 %matplotlib 魔术。输入 %%help 以查看所有支持的魔法。

pyspark 内核通过 Livy 向远程 EMR 集群发送 REST 请求。所以在火花簇上绘制工作没有多大意义。以分布式方式使用pyspark内核进行数据处理，然后以%%local模式进行绘图工作。

尝试使用%%local 启动单元格，然后运行您的代码

%%local 
%matplotlib inline
<some code to plot charts>

【讨论】：

【解决方案2】：

您可以启动 EMR 5.26，

从 notebook 中的 EMR 集群上安装其他 Python 库（例如 Pandas、matplotlib、scipy 等）。无需使用引导操作或自定义 AMI。您可以在 EMR 笔记本的 Pyspark 版本中使用新添加的“list_packages”、“install_pypi_package”和“uninstall_package”API。更多信息here。也可以参考this博客。
在 EMR 集群本身上渲染和绘制图表。你可以使用“%matplot”魔法来实现它。

【讨论】：