气流 DAG 未在 catchup=False 的指定时间运行

Question

我有一个气流 DAG，回填它并没有什么意义。我发现使用airflow 1.8，你可以给DAG参数catchup=False，所以它只会开始最近的工作。 也就是说，我想让 DAG 在午夜开始并每天运行。 但。现在就是这样：DAG 立即开始，而不是在午夜。此外，当我清除所有 DAG 运行时，它将立即重新启动。然后 DAG 将每天运行，但将安排在错误的开始时间 + 1 天。

如何让 DAG 只开始运行最近的作业，并且在特定时间（午夜）开始？

这是我使用的代码：

from datetime import datetime, timedelta
from airflow import DAG
from airflow.operators.dummy_operator import DummyOperator

default_args = {'depends_on_past': False,
                'start_date': datetime(2013, 1, 1)}

with DAG('test_dag',
         default_args=default_args,
         schedule_interval=timedelta(days=1),
         catchup=False
         ) as dag:
    test = DummyOperator(task_id='test')

Answer 1

您可以将 crontab 放在 schedule_interval 中，更多细节可以在这里找到：https://airflow.apache.org/scheduler.html#dag-runs，例如schedule_interval="0 0 * * *"

另外，Airflow 在 UTC 下运行，请将您的“午夜”调整到正确的时区。