在 docker 容器中安装 pyspark + pytest答案

【问题标题】：Install pyspark + pytest in docker container在 docker 容器中安装 pyspark + pytest
【发布时间】：2022-11-10 15:29:56
【问题描述】：

我正在尝试使用 pytest 对我的 pyspark 代码进行单元测试，但无法找出正确的安装步骤和方法。我能够使用这个tutorial 在我的 Mac 上本地工作。我尝试了两种方法来实现这一点：

尝试在 Dockerfile 中复制我在 Mac 上所做的操作。即安装 pypark、apache-spark、java 8、scala、pytest，并确保我得到正确的 ENV 路径。
使用来自 docker 的图像，例如 bitnami。
我尝试（1）但找不到正确的RUN 命令来正确安装java。

对于 (2)，由于 bitnami 不提供 root 访问权限，Dockerfile 中是否有任何方法可以让我将 bitnami 与 pytest 分开安装？

笔记： Bitnami 没有将 py4j 放在 PYTHONPATH 中，所以我不得不将此行添加到 docker 文件中：
```
ENV PYTHONPATH="${SPARK_HOME}/python/lib/py4j-0.10.9.3-src.zip:${PYTHONPATH}"
```

【问题讨论】：

标签： docker apache-spark pyspark pytest

【解决方案1】：

实际上我面临同样的问题，您是否设法在 docker 中使用 pyspark 运行 pytest？尝试使用 datamechanics docker image - 使用最后一个 Dockerfile 运行 docker 运行测试时，我收到一个错误，无法调用 None.org...SparkSession。

使用 Bitnami docker 时，我无法安装 pypskar。

希望你有一些结论可以分享。

谢谢！

【讨论】：