气流 - 没有名为“airflow.providers”或“airflow.contrib.providers”的模块

Question

我们正在尝试将 MongoHook 和 GCSToLocalFilesystemOperator 导入我们的 Airflow 项目：

• docs for MongoHook
• docs for GCS Operator

...per this post，“Airflow 不再包含 Providers 包，但您可以使用特定的 backport 包通过 pip 单独安装它们”

我没有运气。对于我们的 DockerFile，我们开始使用来自 GitHub 上 puckel/docker-airflow 存储库的this image。

我尝试将这两行添加到我们的requirements.txt

apache-airflow-backport-providers-mongo
apache-airflow-backport-providers-google

...我已经尝试将这些行添加到我们的 DockerFile：

    && pip install apache-airflow-backport-providers-mongo \
    && pip install apache-airflow-backport-providers-google \

...我们得到了标题中提到的错误。如何将它们安装到我们的 docker 映像/容器中以在我们的 Airflow 项目中使用它们？

编辑：快速检查问题是否是我根本没有重建图像

edit2：需要重建图像；但是，现在我们收到错误No module named 'airflow.utils.process_utils'，这是我们在导入GCSToLocalFilesystemOperator 时得到的。不知道为什么 Airflow 将 providers 从基础安装中移除，这非常令人沮丧......

Answer 1

我最初的问题的答案是我需要重建 docker 映像 (DOH)。

我认为，我第二个问题的答案是我安装了两次这些包（一次在 Dockerfile 中显式地安装了 pip，一次在 requirements.txt 中，这也是在 Dockerfile 中安装的 pip）。当我删除重复安装时，它现在似乎可以工作了。