【问题标题】:Trigger airflow task based on dynamic variable value基于动态变量值触发气流任务
【发布时间】:2021-03-12 21:44:41
【问题描述】:

我有一个气流 DAG,它的任务是发送电子邮件。

在脚本中生成了一个熊猫数据框 (df) 作为查询输出。

我只想在 df 不为空的情况下发送电子邮件。

如何根据某个变量值(在任何 if 条件下)触发/取消任务?

【问题讨论】:

    标签: python pandas dataframe airflow


    【解决方案1】:

    您可以使用BranchPythonOperator 来确定是跳过还是运行发送电子邮件任务。这是关于如何设置它的一个很好的答案/示例。

    How does Airflow's BranchPythonOperator work?.

    您将需要此运算符的 python_callable(函数)来确定您的数据框是否为空/已填充。

    【讨论】:

    • ShortCircuitOperator 可能更合适
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2019-06-05
    • 1970-01-01
    • 2017-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-12-31
    相关资源
    最近更新 更多