芹菜 - 检查工人是否收到 SIGTERM

Question

我有一个很长的Celery 任务。超过几分钟。

有时，由于各种原因，一个工人被标记为终止，而另一个工人开始。如果需要更换运行它的机器，或者正在部署新的代码版本，就会发生这种情况。在这种情况下，worker 会收到 SIGTERM 信号。

我想知道任务本身是否可以定期检查此工作人员是否已收到 SIGTERM 并正在等待终止，在这种情况下，只需将任务放回队列中并终止。 （然后该任务将在另一个工作人员上启动，并将继续工作）

编辑：澄清 - 是否可以在任务中检查它是否在等待终止的工作人员上执行。像这样：

# Some long task that can take even a few hours.
def some_task(...):
    for i in range(...):
        do_some_work()
        # That's the missing function:
        if did_this_worker_received_SIGTERM_and_waiting_to_be_terminated():
             # stop the task in the middle, and it will be executed again later

Answer 1

当 Celery worker 收到 SIGTERM 时，它将启动 热关机。这意味着它将取消自己从所有队列中的订阅，预取的任务（如果有的话）将返回到它们的队列中，并且 worker 本身将开始等待当前正在运行的任务完成，然后再关闭。没有任务会丢失，如果那是您所担心的。

所有这些事件都可以处理（见Worker Signals）。

如果你仍然坚持在你的任务中有一些额外的逻辑来处理工作状态，那么也许最简单的解决方案是实现工作关闭处理程序（如我上面提到的文档部分所述），让它在 Redis 中存储一个标志或其他一些分布式 K/V 存储），并重构需要它的任务，以便它们访问此标志并执行您需要它们执行的任何操作。

Answer 2

我能问一下你为什么要做这样的事情吗？你启用task_acks_late了吗？这样，如果一项任务无法按时完成并且工作人员将关闭，则该任务将在新工作人员上重新运行。

这里是documentation。还有task_reject_on_worker_lost，我没试过，但也许对你也有帮助：

将此设置为 true 允许消息重新排队，因此 该任务将由同一个工作人员或另一个工作人员再次执行 工人。