如何设置气流 DAG 连续运行

Question

我正在使用气流来安排火花作业，我需要让 DAG“连续运行”——就像我只想让 DAG 运行一样，当它完成时，再次启动一个新的 DAG 实例。

我有两个选择：
1. 一次只允许一个 DAG 实例运行，并更频繁地运行 DAG
2. 有另一个 DAG 观看并在需要时启动。

有人实施吗？建议？谢谢！

Answer 1

Schedule a continually airflow DAG run

您应该能够在最后一个任务完成后使用 TriggerDagRunOperator 重新运行 DAG。

Answer 2

为什么需要气流来做到这一点？ 您可以在 Spark 作业中实现无限循环。似乎更有效率。