有没有办法使用 Docker 部署 Airflow 但使用不同的工作人员？

【问题标题】：Is there a way to deploy Airflow with Docker but using different workers?有没有办法使用 Docker 部署 Airflow 但使用不同的工作人员？
【发布时间】：2021-07-09 19:27:05
【问题描述】：

按照官方 Airflow 文档 (here) 中的说明，我使用 docker-compose 进行了 Airflow 部署。

我问自己是否有可能创建一个允许不同 python 环境用于不同任务的设置。 IE。假设我有一个项目 1 的管道，它与项目 2 的 DAG 有冲突的依赖关系。

有没有办法只创建两个不同的工作映像，并以某种方式告诉 Airflow 相应的任务应该发送到哪个工作容器？

谢谢！

【问题讨论】：

标签： docker airflow environment worker

【解决方案1】：

我不会使用特定于工作流的 Airflow 图像，因为该方法无法扩展。也就是说，例如，如果您有 10 个工作流，每个工作流都有自定义 Airflow-worker 映像，并且您决定升级 Airflow，则必须升级每个自定义映像。

为了处理 Python 环境中的冲突依赖，有virtual environments。 Airflow 具有PythonVirtualenvOperator，它允许在新的 Python 虚拟环境中执行 Python 可调用对象，其中包含可调用对象所需的依赖项。这样，在同一个工作流 (DAG) 中，您可以拥有多个任务，每个任务具有完全不同的依赖集。

【讨论】：