【问题标题】:How to stop Airflow running tasks from 'off' dags如何从“关闭”的 dags 中停止 Airflow 运行任务
【发布时间】:2018-05-31 10:23:27
【问题描述】:
我创建了一些 DAG,运行它们并在执行过程中停止它们(使用 OFF 按钮)。
UI 仍然会为那些停止的 DAG 显示“正在运行的任务”。
我尝试将这些任务设置为“清除”,而不是它们呈蓝色,处于“关闭状态”。
我想知道这些任务是否计入正在运行的任务总数中,并阻止其他任务启动(以我当前的配置,只有 32 个任务可以并行运行)。有没有办法彻底清理我不再需要的 DAG,并确保任务不会阻塞任何东西并使 Airflow 变慢?
谢谢!
【问题讨论】:
标签:
airflow
airflow-scheduler
【解决方案1】:
您可以从元数据库中的 dag_run 和 task_instances 表中删除所有 dag 数据。
您也可以通过 Airflow Webserver UI 导航到
浏览 -> DAG 运行
& 浏览 -> 任务实例
并删除所有与 dag id 相关的记录。
但请注意,主页上的任务和 DAG 状态字段可能需要一段时间才能反映更改。