找不到模块'graphframes'——Jupyter答案

【问题标题】：can't find module 'graphframes' -- Jupyter找不到模块'graphframes'——Jupyter
【发布时间】：2018-05-08 21:07:04
【问题描述】：

我正在尝试按照我已经阅读的一些说明安装 graphframes 包。

我的第一次尝试是在命令行中执行此操作：

 pyspark--packages graphframes:graphframes:0.5.0-spark2.1-s_2.11

这很完美，并且在机器中成功完成了下载。

但是，当我尝试在我的 Jupyter 笔记本中导入包时，它会显示错误：

can't find module 'graphframes'

我的第一次尝试是将包文件夹 /graphframes 复制到 /site-packages，但我无法使用简单的 cp 命令。

我是使用 spark 的新手，我确定我缺少配置的某些部分...

你能帮帮我吗？

【问题讨论】：

【解决方案1】：

这对我有用。

提取graphframes-xxx-xxx-xxx.jar 文件的内容。你应该得到类似的东西

graphframes
 | -- examples
       |-- ...
 | -- __init__.py
 | -- ...

压缩整个文件夹（不仅仅是内容），然后随意命名。我们就叫它graphframes.zip。

然后，运行 pyspark shell

pyspark --py-files graphframes.zip \
    --packages graphframes:graphframes:0.5.0-spark2.1-s_2.11

你可能需要这样做

sc.addPyFile('graphframes.zip')

之前

import graphframes

【讨论】：

【解决方案2】：

最简单的方法是用pyspark启动jupyter，而graphframes是从pyspark启动jupyter。

只需打开终端并设置两个环境变量，然后使用 graphframes 包启动 pyspark

export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS=notebook
pyspark --packages graphframes:graphframes:0.6.0-spark2.3-s_2.11

这样做的好处还在于，如果您以后想通过spark-submit 运行您的代码，您可以使用相同的启动命令

【讨论】：