【问题标题】:Airflow Scheduler needs to be manually started each dayAirflow Scheduler 需要每天手动启动
【发布时间】:2021-09-28 11:30:52
【问题描述】:

我对 Apache Airflow 非常陌生。我在 Google Cloud VM 上安装了气流。我有两个正在运行的管道,它们从 API 获取数据并将它们存储到 BigQuery。 我面临的问题是气流调度程序没有自动运行。我必须每天使用“气流调度程序”命令手动运行它。第二天,当我打开 Airflow 时,我看到消息“调度程序似乎没有运行”。然后我必须再次手动运行 te 命令来启动调度程序。 我正在使用 SequentialExecuter。这有什么关系吗。

还有其他人遇到过这个问题吗?

【问题讨论】:

    标签: airflow airflow-scheduler


    【解决方案1】:

    可能是因为您正在fg 中运行scheduler 命令/进程并关闭会话。

    尝试使用此命令将调度程序作为守护进程运行。

    airflow scheduler -D
    

    【讨论】:

    • 这有效.. 调度程序现在正在运行,但现在我的 DAG 没有在预定时间运行。我必须改变什么吗?
    • 这取决于很多因素.. 你启用 dag 了吗?在airflow.cfg 文件中设置dags_are_paused_at_creation = False 或在UI 中手动激活(如果尚未激活)。
    • DAG 处于活动状态。
    【解决方案2】:

    这是我解决问题的方法。

    1. 我将数据库更改为 postgreSQL,将执行程序更改为 LocalExecutor。
    2. 我创建了两个服务:一个用于气流网络服务器,另一个用于气流调度程序。我以 root 用户身份运行命令。

    以下是我获得帮助的链接。 https://medium.com/@achilleus/easy-way-to-manage-your-airflow-setup-b7c030dd1cb8

    感谢大家分享您的答案。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-07-15
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多