气流调度程序意外关闭

Question

我正在使用 Ubuntu 的 EC2 实例上运行气流 v1.8.0。我运行的各种 DAG 与几个不同的 SQL 表连接。我遇到了一个反复出现的问题，即使用airflow scheduler -D 提出的调度程序只是关闭了我。当我检查airflow-scheduler.err 时没有错误。为了调试，我进入/airflow 目录并使用rm airflow-scheduler* 清除所有与调度程序相关的文件并重新启动守护程序。我正在使用LocalExecutor。

两个问题：(1) 发生了什么，我该如何解决？ (2) 如果没有快速修复，当调度程序失败时，气流是否至少有办法向我发送电子邮件？

Answer 1

关于您的第二个问题，我认为 Airflow 中不存在该问题。我认为无论如何都应该对它进行外部监控，因为如果 Airflow 出现问题，它可能无法通过电子邮件发送给您。

相反，您可以查看SchedulerJob 生成的心跳。我对这个查询进行了一些监控：

SELECT MAX(latest_heartbeat) FROM job WHERE job_type = 'SchedulerJob';

您可以使用它来确保最近触发了调度周期。

我对工作类型 LocalTaskJob 和 GROUP BY hostname 执行相同操作，以确保每个工人都在接工作。

Answer 2

在您的airflow.cfg 中有一个调度程序部分。

在该部分中，有一条子进程记录的路径：

[scheduler]
...
child_process_log_directory = /tmp/airflow/scheduler/logs

相关的错误信息可能在此目录的日志中。