绘图可视化在 EMR Jupyterhub Notebook 上的 Pyspark 内核中不起作用答案

【问题标题】：plotly visualization not working in Pyspark kernel on EMR Jupyterhub Notebook绘图可视化在 EMR Jupyterhub Notebook 上的 Pyspark 内核中不起作用
【发布时间】：2020-10-06 03:53:23
【问题描述】：

我正在尝试在 EMR Jupyterhub Notebook 上使用 plotly 绘制图表，但是这些图表并未在 Pyspark 内核中呈现。（注：Python 内核渲染图就好了）

我正在尝试的示例代码：

data_canada = px.data.gapminder().query("country == 'Canada'")
fig = px.bar(data_canada, x='year', y='pop')
fig.show()

I am able to plot a graph with %%display sparkmagic however I am not able to figure out if we can get plotly working with %%display sparkmagic - 

import random
   data = [('Person:%s' % i, i, random.randint(1, 5)) for i in range(1, 50)]
   columns = ['Name', 'Age', 'Random']
   spark_df = spark.createDataFrame(data, columns)

%%display
spark_df

有人试过成功吗？请指教。

【问题讨论】：

标签： pyspark jupyter-notebook plotly amazon-emr pyspark-dataframes

【解决方案1】：

这是 sparkmagic 的限制。您将不得不求助于%%local 魔术。来自 sparkmagic docs。

由于所有代码都通过 Livy 在远程驱动程序上运行，因此所有结构化数据都必须被序列化为 JSON 并由 Sparkmagic 库解析，以便它可以在客户端进行操作和可视化。在实践中，这意味着您必须使用 Python 在 %%local 模式下进行客户端数据操作。

【讨论】：