具有不同 conda 环境的 Python 任务和 DAG

Question

假设我在 AirFlow 中的大部分 DAG 和任务都应该在与 AirFlow 服务器同一台机器上运行 Python 代码。

我可以让不同的 DAG 使用不同的 conda 环境吗？如果是这样，我该怎么做？例如，我可以为此使用 Python 运算符 吗？或者这是否会限制我使用我用来安装 AirFlow 的相同 conda 环境。

更一般地说，我应该在哪里/如何理想地为每个 DAG 或任务激活所需的 conda 环境？

Answer 1

运行 Airflow Worker 代码的 Python 环境将用于执行代码。

您可以做的是为不同工作人员的单独执行环境设置单独的命名队列，这样只有特定的机器或一组机器将执行某个 DAG。