气流编排最佳实践

Question

我开始使用 Airflow 来安排我们公司的工作，我想知道它的最佳做法。

是否建议将我的所有任务放在一个 DAG 中？如果不是，那么一个 Dag 和多个 Dag 之间的正确中间是什么？

我们计划的 DAG 执行收集、转换、导出和一些其他计算程序。所以我们会不断有新的任务要添加。

Answer 1

通常，一个 python 文件由一个包含多个任务的 DAG 组成。这是因为它是任务的逻辑分组。

如果您有多个具有依赖关系的 DAG，您可以在 DAG1 的末尾使用 TriggerDagRunOperator。如果 DAG1 中的所有任务都成功，这将触发 DAG2（单独的 DAG 文件）。

一个例子是：

DAG1：https://github.com/apache/incubator-airflow/blob/master/airflow/example_dags/example_trigger_controller_dag.py

DAG2：https://github.com/apache/incubator-airflow/blob/master/airflow/example_dags/example_trigger_target_dag.py