ImportError：Pyspark 上没有名为 configparser 的模块答案

【问题标题】：ImportError: No module named configparser on PysparkImportError：Pyspark 上没有名为 configparser 的模块
【发布时间】：2020-01-12 13:35:07
【问题描述】：

在火花集群上提交作业时，我收到一个错误

ImportError: No module named configparser

这里要注意的是，在我的 pycharm 中开发 pyspark 应用程序时，我并没有专门从 pip 或任何其他包中添加 configparser。它默认存在。但是，当我在也运行在 Python 3 上的集群上提交作业时，我在导入行中收到此错误。

可能是什么原因？

【问题讨论】：

标签： python python-3.x pyspark

【解决方案1】：

该库是标准库的一部分，通常应该在 PySpark 上可用。然而问题是：你确实在使用 Python 3 吗？在 Python 2 中，该模块被称为 ConfigParser；使用 Python 2 的 PySpark 可能会解释原因。试试import ConfigParser 或检查import sys; print(sys.version_info) 的输出。

【讨论】：

有趣。我得到的输出是 sys.version_info(major=2, minor=7, micro=5, releaselevel='final', serial=0)。这是否意味着，我集群中 pyspark 的版本是 2.7.5 ？
@earl 这是一个宾果游戏
如何在我的 py 文件中导入 PYTHONPATH？我正在使用 SparkSession
尝试过诸如 sys.path.index('/opt/test/python37/bin'); 之类的选项os.environ['PYTHONPATH'] = '/opt/test/python37/bin' 但他们无法覆盖设置为默认值的 PYTHONPATH
@earl 这是另一个问题，它已经有了答案：stackoverflow.com/questions/57953227/…

【解决方案2】：

以我个人经验，解决这个问题需要正确设置python版本How to correctly set python version in Spark?。

【讨论】：