【问题标题】:Airflow Packaged dags(Zip) not picked by scheduler调度程序未选择 Airflow Packaged dags(Zip)
【发布时间】:2018-07-20 09:52:49
【问题描述】:

我正在尝试将packaged dagCelery Executor 一起使用,但调度程序和工作人员没有接手工作。我重新启动了airflow webserverairflow scheduler,但仍然没有成功。我什至用airflow resetdb 重置了数据库,但仍然没有。

我收到以下消息:-

[INFO] Handling signal: ttou
[INFO] Worker exiting (pid: 31418)
[INFO] Handling signal: ttin
[INFO] Booting worker with pid: 32308

DAG 没有手动运行,甚至没有被调度程序选择。

我的 zip 文件有以下内容:

unzip alerting.zip   

creating: airflow_utils/
inflating: airflow_utils/enums.py  
inflating: airflow_utils/psql_alerting_dag.py  
extracting: airflow_utils/__init__.py  
inflating: airflow_utils/hive_alerting_dag.py  
inflating: airflow_utils/alerting_utils.py  
inflating: alerting_12hrs.py       
inflating: alerting_15mins.py      
inflating: alerting_3hrs.py 

如果我将所有这些文件放在 dags 文件夹中而不是打包它们,气流调度程序就能够调度 dags。

我对打包的 dag 做错了什么?

【问题讨论】:

  • 要验证,当您尝试使打包的 DAG 工作时,您是否将其放置在 /dags 目录中?
  • 我正在使用气流 2.0.2,我正面临这个问题。 Dags 在直接放在/dag 目录中时运行,但如果保留 zip(打包的 dag),它只会运行 dag 中的第一个任务。

标签: python airflow airflow-scheduler


【解决方案1】:

我使用的是 Airflow 1.8.1,它在从 zip 中加载 dag 时遇到问题。此问题已在 1.8.3 中修复。 https://issues.apache.org/jira/browse/AIRFLOW-1357

【讨论】:

    猜你喜欢
    • 2018-09-08
    • 2022-11-08
    • 1970-01-01
    • 2018-01-14
    • 1970-01-01
    • 2022-08-06
    • 2010-11-03
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多