【问题标题】:Incorrect work of scheduler interval and start time in Apache AirflowApache Airflow 中调度程序间隔和开始时间的工作不正确
【发布时间】:2018-03-28 08:04:22
【问题描述】:

找不到任务开始时间的解决方案。我有代码,找不到我错的地方。

当我运行 DAG 时,25.03、26.03、27.03。任务完成了,但是今天(28.03)任务没有在6:48开始。

我试过用cron表达式,钟摆,日期时间和结果是一样的。当地时间(UTC+3)和气流时间(UTC)不同。我尝试在“开始日期”或“计划间隔”中使用每次(本地,气流) - 没有结果。

使用:Ubuntu、Airflow v. 1.9.0 和本地执行程序。

emailname = Variable.get('test_mail')
l_start_date = datetime(2018, 3, 25, 6, 48) 
l_schedule_interval = '@daily'

WORKFLOW_DEFAULT_ARGS = {
    'owner': 'owner',
    'depends_on_past': True,
    'start_date': l_start_date,
    'email': emailname,
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retries_delay': timedelta(minutes=1),
}

# initialize the DAG
dag = DAG(
    dag_id='test_dag_mail',
    default_args=WORKFLOW_DEFAULT_ARGS,
    schedule_interval=l_schedule_interval,
    start_date=l_start_date,
 )

【问题讨论】:

    标签: python python-3.x airflow airflow-scheduler


    【解决方案1】:

    scheduler page 没有很好地解释 execution_date 设置为上一次运行和当前运行之间的时间段的开始。为什么?好吧,假设每月、每天、每小时的工作需要读取从那个时间到当前间隔时间的所有数据。是的,他们本可以改变它。

    示例(将纳秒/毫秒切割成个位数):

    DAG start_date DAG schedule_interval Task Started          Task execution_date
    2017-12-01     '@daily'              2017-12-02 00:00:02.8 2017-12-01 00:00:00.0
                                         2017-12-03 00:00:01.4 2017-12-02 00:00:00.0
    
    2017-12-01     '@weekly'             2017-12-08 00:00:01.5 2017-12-01 00:00:00.0
                                         2017-12-15 00:00:03.9 2017-12-08 00:00:00.0
    
    2017-12-01     '33 03 * * *'         2017-12-02 03:33:01.6 2017-12-01 03:33:00.0
                                         2017-12-03 03:33:02.2 2017-12-02 03:33:00.0
    
    2017-12-01     '33 03 * * 2'         2017-12-12 03:33:01.7 2017-12-05 03:33:00.0
                                         2017-12-19 03:33:03.1 2017-12-12 03:33:00.0
    

    对于最后一种情况,请注意开始日期不是间隔中要求的星期二;因为开始时间可能与间隔时间不一致,这很令人困惑,所以我没有对此进行完全测试,并建议如果你想每周二跑步,你的开始时间应该在周二,比如 2017-12-05 或 2017- 11-28。

    2017-12 参考:

    #  December 2017
    Su Mo Tu We Th Fr Sa
                    1  2
     3  4  5  6  7  8  9
    10 11 12 13 14 15 16
    17 18 19 20 21 22 23
    24 25 26 27 28 29 30
    31
    

    因此,在您的 DAG 任务中,使用 {{ds}} 或 {{execution_date}} 提供的运行上下文中的 jinja2 模板将引用示例的最后一列,而不是 datetime.now() 会告诉您的关于倒数第二列。

    提供这些是为了让您的任务可以是幂等的:f(data) = f(f(data))。

    如果您运行一次 DAG,则最终状态应该与您运行 DAG N 次时相同。这样,如果您运行(线性)DAG 并且 5 个任务中的 3 个成功,但任务 4 失败并且任务 5 从未运行,您可以重新运行整个 dag,并且任务 1-3 将预先清理或覆盖数据,这样这些任务的先前成功的输出没有改变,然后任务 4 和 5 有望成功,并且您处于最终的良好状态。

    【讨论】:

      【解决方案2】:

      这是 Airflow 的一个特性:

      请注意,如果您在一天的 schedule_interval 上运行 DAG,则标记为 2016-01-01 的运行将在 2016-01-01T23:59 之后不久触发。换言之,作业实例会在其涵盖的时间段结束后启动。

      让我们重复一遍:调度程序在开始日期后一个 schedule_interval 的时间段结束时运行您的作业。

      发件人:https://airflow.apache.org/scheduler.html

      【讨论】:

      • 感谢您的回答。如果你的意思是每天午夜开始 dag,我明白这一点。如何设置每天或每月的具体时间?
      • @НиколайОсиний 这根本不是他的意思。今天 28 日的跑步是你已经看到 RAN 并且标记为 27 日的跑步。检查该运行的第一个任务并查看该任务的“开始时间”。 Cron 表达式很简单。对于日常任务,您可以指定月份中的某一天、一年中的月份、一周中的某一天。所以:20 18 * * * 每天在 18h 20m UTC 运行。 2018-03-28 的执行时间为 2018-03-27T18:20:00Z。开始时间将在 2018-03-28T18:20:00Z 之后,具体取决于调度程序将其发送给工作人员以及工作人员启动它所需的时间。
      猜你喜欢
      • 2022-11-08
      • 1970-01-01
      • 1970-01-01
      • 2012-01-19
      • 1970-01-01
      • 2018-02-18
      • 2011-04-21
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多