气流：所有任务已完成，但 dag 状态正在运行

Question

我正在使用带有 CeleryExecutor 和 mysql-8.0.22 的 Airflow 2.0.0。

每次我们执行任何 dag。无论所有任务的状态是失败/成功/混合，总体 dag 状态始终处于运行状态。

因此，一段时间后，调度程序也会崩溃。

Airflow 安装在 /root/ 这是airflow.cfg：

[core]
dags_folder = /var/airflow/dags
executor = CeleryExecutor
sql_alchemy_conn = mysql://user:password@localhost:3306/airflow

[logging]
base_log_folder = /var/airflow/logs

[webserver]
base_url = http://localhost:8080
default_ui_timezone = UTC
web_server_host = 0.0.0.0
web_server_port = 8080

[celery]
celery_app_name = airflow.executors.celery_executor
worker_concurrency = 8
worker_log_server_port = 8793
broker_url = sqla+mysql://user:password@localhost:3306/celery
result_backend=db+mysql://user:password@localhost:3306/celery
flower_host = 0.0.0.0
flower_port = 5555
operation_timeout = 1.0

[scheduler]
child_process_log_directory = /var/airflow/logs/scheduler

有人可以帮忙吗？

Answer 1

您的数据库是否与您的气流工作者在同一个节点上运行？看起来不对。