【问题标题】:how to get airflow schedule right如何获得正确的气流时间表
【发布时间】:2020-03-10 13:15:39
【问题描述】:

我对气流计划的工作原理感到非常困惑。 我想安排一个在周五运行的 dag,我想在周六使用它的结果。所以我做了这样的 crontab 表达式:00 16 * * 5,然而,截至今天 2020 年 3 月 10 日,我从气流运行中获得的最后执行日期是 2020 年 2 月 28 日。这是不希望的,因为最近的星期五实际上是 2020-03-06,除非我每天安排它,否则我无法让 2020-03-06 运行,如果不是星期五则跳过它。有没有办法正确地执行此计划?

【问题讨论】:

    标签: etl airflow airflow-scheduler


    【解决方案1】:

    很多人对 Airflow 的 execution_dateschedule_interval 值的工作方式感到困惑,即它会等待一段时间“关闭”,然后才会在这段时间内执行;这是我给的previous answer的一部分:

    可以这样想:如果您每季度运行一个流程并根据该季度的数据生成一份报告,您是否会将报告命名为创建文件时所在的季度,或者报告中的数据来自哪个季度?这就是execution_date 的含义。

    尝试将您的start_date 更改为小于一个完整的计划间隔。它应该在 03/06 运行,但它的 execution_date 会说 02/28

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2020-01-05
      • 2016-08-15
      • 2018-07-16
      • 1970-01-01
      • 1970-01-01
      • 2019-05-25
      • 2018-03-19
      • 1970-01-01
      相关资源
      最近更新 更多