【发布时间】:2018-07-20 09:52:49
【问题描述】:
我正在尝试将packaged dag 与Celery Executor 一起使用,但调度程序和工作人员没有接手工作。我重新启动了airflow webserver 和airflow scheduler,但仍然没有成功。我什至用airflow resetdb 重置了数据库,但仍然没有。
我收到以下消息:-
[INFO] Handling signal: ttou
[INFO] Worker exiting (pid: 31418)
[INFO] Handling signal: ttin
[INFO] Booting worker with pid: 32308
DAG 没有手动运行,甚至没有被调度程序选择。
我的 zip 文件有以下内容:
unzip alerting.zip
creating: airflow_utils/
inflating: airflow_utils/enums.py
inflating: airflow_utils/psql_alerting_dag.py
extracting: airflow_utils/__init__.py
inflating: airflow_utils/hive_alerting_dag.py
inflating: airflow_utils/alerting_utils.py
inflating: alerting_12hrs.py
inflating: alerting_15mins.py
inflating: alerting_3hrs.py
如果我将所有这些文件放在 dags 文件夹中而不是打包它们,气流调度程序就能够调度 dags。
我对打包的 dag 做错了什么?
【问题讨论】:
-
要验证,当您尝试使打包的 DAG 工作时,您是否将其放置在
/dags目录中? -
我正在使用气流 2.0.2,我正面临这个问题。 Dags 在直接放在
/dag目录中时运行,但如果保留 zip(打包的 dag),它只会运行 dag 中的第一个任务。
标签: python airflow airflow-scheduler