【问题标题】:Airflow 2.1.4 Task received SIGTERM signal randomlyAirflow 2.1.4 任务随机收到 SIGTERM 信号
【发布时间】:2021-11-23 13:56:27
【问题描述】:

我使用的是 Airflow 2.1.4,问题是我的任务随机收到 SIGTERM。但是当我从第一张图片的电子邮件警报中检查日志时。

日志只显示第二张图片中的内容,我的任务失败了,我确定我已经将重试次数设置为 2(在 DAG 的默认参数中,每个任务的重试次数为 2),但是为什么该任务在第一次尝试中立即失败,以及为什么日志看起来像这样。

这只是随机发生的,有时可以正常工作,有时不能。

环境: Airflow 2.1.4(从 2.1.2 升级) 使用 Rabbitmq 和 mysql 工人 = 3

【问题讨论】:

    标签: airflow sigterm


    【解决方案1】:

    显然,原因之一是我的新工人,因为我们在添加新工人时没有停止调度程序,导致了这个问题。 这是我如何识别问题的步骤: 使用 Flowers 检查何时出现此问题,之前和之后处理该问题的工人,由此我知道失败的任务并获取此日志,总是来自“新工人”。所以我重新安装了新的工人。并始终确保在维护模式下保持气流。我停止了工作服务、调度程序服务和网络服务器服务。 之后我的 Airflow 工作正常,但是因为我的 DAGS 实例总是落后于计划,而服务器仍然正常(我假设我们仍然有足够的资源),我更改了 worker_concurrency (现在我们使用 worker_autoscale)、并行度和解析进程等参数.

    扩大气流的来源: https://www.astronomer.io/guides/airflow-scaling-workers

    【讨论】:

    • 虽然此链接可能会回答问题,但最好在此处包含答案的基本部分并提供链接以供参考。如果链接页面发生更改,仅链接答案可能会失效。 - From Review
    猜你喜欢
    • 2021-01-29
    • 2021-11-30
    • 2021-01-07
    • 2013-06-05
    • 2018-04-28
    • 1970-01-01
    • 2019-05-05
    • 2016-07-18
    • 2022-12-22
    相关资源
    最近更新 更多