【问题标题】:Trigger airflow DAG based on Azure SQL table insert基于 Azure SQL 表插入触发气流 DAG
【发布时间】:2020-10-21 03:00:24
【问题描述】:

有没有人有过基于 azure sql 数据库中表上的插入触发器触发气流 DAG 的场景?我确实使用逻辑应用来更新 sql db 中的记录,但在反之亦然找不到太多文档,非常感谢

【问题讨论】:

    标签: mysql azure triggers airflow


    【解决方案1】:

    你可以尝试使用SQLSensor:

    重复运行 sql 语句,直到满足条件。它会保持 尝试直到 满足成功或失败标准,或者如果第一个单元格不在 (0, '0', '', None) 中。

    但这并不完全符合您的目的,而不是触发 DAG 运行 DAG 执行相当延迟,直到满足条件。

    另一种选择是使用Airflows experimental REST API

    POST /api/experimental/dags//dag_runs

    为给定的 dag id 创建一个 dag_run。

    【讨论】:

    • 感谢您的快速回复,是的,我想要一些东西来动态触发 DAG,当 Azure SQL DB 有更新时,我确实偶然发现了气流休息后呼叫,但我想我可能会需要 Azure SQL DB 上的侦听器来侦听该表上的更改并触发气流发布命令
    猜你喜欢
    • 2022-10-16
    • 1970-01-01
    • 2023-03-25
    • 1970-01-01
    • 2022-10-14
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多