pyspark 导入用户定义的模块或 .py 文件

Question

我构建了一个python module，我想将它导入到我的 pyspark 应用程序中。

我的包目录结构是：

wesam/
|-- data.py
`-- __init__.py

我的 pyspark 脚本顶部的简单 import wesam 会导致 ImportError: No module named wesam。我还尝试将其压缩并与--py-files 作为recommended in this answer 的代码一起发送，但没有运气。

./bin/spark-submit --py-files wesam.zip mycode.py

我还按照this answer 的建议以编程方式添加了文件，但我得到了同样的ImportError: No module named wesam 错误。

.sc.addPyFile("wesam.zip")

我在这里错过了什么？

Answer 1

事实证明，既然我在client mode 中提交我的应用程序，那么我运行spark-submit 命令的机器将运行驱动程序并且需要访问模块文件。

我通过将以下行添加到我的.bashrc 文件（或在提交我的作业之前执行它），将我的模块添加到我提交作业的节点上的PYTHONPATH 环境变量中。

export PYTHONPATH=$PYTHONPATH:/home/welshamy/modules

这样就解决了问题。由于路径位于驱动程序节点上，因此我不必使用--py-files 或sc.addPyFile() 压缩和运送模块。

解决任何 pyspark 模块导入错误问题的关键是了解驱动程序或工作程序（或两者）节点是否需要模块文件。

重要 如果工作节点需要您的模块文件，那么您需要将其作为带有 --py-files 的 zip 存档传递，并且此参数 必须 在您的 .py 文件参数之前。例如，请注意这些示例中的参数顺序：

这是正确的：

./bin/spark-submit --py-files wesam.zip mycode.py

这是不正确的：

./bin/spark-submit mycode.py --py-files wesam.zip

Answer 2

把mycode.py和wesam.py放在同一个路径位置试试

sc.addPyFile("wesam.py")

它可能会起作用。