气流芹菜作业卡在运行状态

Question

我正在尝试使用 CeleryExecutor 设置 Airflow。我使用postgres 作为数据库，rabbitmq 作为消息代理。所有气流计划作业都将进入运行状态，但它们从未运行。我在rabbitmq 日志或气流日志中看不到任何错误。任何帮助表示赞赏

这是我的代理和后端网址

broker_url = amqp://guest:guest@127.0.0.1/airflow

celery_result_backend = db+postgresql://airflow:airflow@127.0.0.1:5432/airflow

sql_alchemy_conn = postgresql+psycopg2://airflow:airflow@127.0.0.1:5432/airflow

Answer 1

您是否检查过 Celery 工人是否正确加入了 rabbitmq？您可以考虑为此使用花，这是一个基于 Web 的工具，用于监控和管理 Celery 集群。你可以简单地使用airflow flower运行它

根据我过去的经验，大多数情况下，当一项任务已安排但未运行时，Celery Workers 就会出现问题。在我们的例子中，我们使用 Postgres + Redis，这是工作人员和 Redis 之间的连接问题。