气流 schedule_interval 和活动 dag 运行

Question

定义处理训练数据的实例

dag = DAG(
    dag_id,
    start_date = datetime(2019, 11, 14),
    description = 'Reading training logs from the corresponding location',
    default_args = default_args,
    schedule_interval = timedelta(hours=1),
)

我有这样的代码。所以在我看来，这个 dag 将每隔一小时执行一次。 但在气流网中，我在日程安排部分获得了很多运行天数。这一天一直在执行。 特别是在树视图部分，我可以看到所有的块在一小时内就被填满了！！！ 我对 schedule_interval 函数感到困惑。关于如何解决这个问题的任何想法。

Answer 1

在FIRST DAG 运行中，它将从您在start_date 中定义的日期开始。从那时起，调度程序会根据您的 schedule_interval 创建新的 DagRuns，并在满足您的依赖项时运行相应的任务实例。 你可以阅读更多关于它的信息here。

Answer 2

我知道，问题在于实际时间和开始日期之间的时间设置不一致。如果 start_date 落后于实际时间，系统将回填过去的时间。