Django：在后台线程中启动一个进程？

Question

我正在尝试研究如何在 Django 的后台线程中运行进程。我对 Django 和线程都是新手，所以如果我使用的术语有误，请多多包涵。

这是我的代码。基本上我希望start_processing 在success 函数被触发后立即开始。但是start_processing 是一种很容易花费几分钟或失败的功能（它依赖于我无法控制的外部服务），我不希望用户必须等待它成功完成在视图渲染之前。 （就他们而言，“成功”并不取决于start_processing 的结果；如果失败，我是唯一需要担心的人。）

def success(request, filepath):
    start_processing(filepath)
    return render_to_response('success.html', context_instance = RequestContext(request))

根据我所做的谷歌搜索，大多数人建议在 Django 中不使用后台线程，而是使用 cron 作业更合适。但我非常希望start_processing 在用户到达成功功能后立即开始，而不是等到 cron 作业运行。有没有办法做到这一点？

Answer 1

我不确定你是否需要一个线程。听起来您只是想生成一个进程，因此请查看 subprocess 模块。

Answer 2

IIUC，这里的问题是网络服务器进程可能不喜欢额外的长时间运行的线程，它可能会随着需求的上升和下降等原因杀死/生成服务器进程，等等。

您可能最好通过与外部服务进程通信来进行此类处理，而不是将其嵌入到网络服务器的 wsgi/fastcgi 进程中。

如果您发送的唯一内容是文件路径，那么编写该服务应用程序应该很容易。

Answer 3

如果您真的需要快速破解，只需使用 subprocess 启动一个进程。

但我不建议生成一个进程（甚至是一个线程），特别是如果您的网站是公开的：在高负载的情况下（这可能是“自然的”或微不足道的DoS 攻击），您将产生许多进程或线程，最终会耗尽您的所有系统资源并杀死您的服务器。

我会建议使用作业服务器：我使用Celery（以Redis 作为后端），它非常简单并且效果很好。您可以查看许多其他作业服务器，例如 RabbitMQ 或 Gearman。在您的情况下，作业服务器可能有点矫枉过正：您可以简单地运行 Redis 并将其用作轻量级消息服务器。这是an example 的操作方法。

干杯

Answer 4

如果有人真的想运行另一个线程

def background_process():
    import time
    print("process started")
    time.sleep(100)
    print("process finished")

def index(request):
    import threading
    t = threading.Thread(target=background_process, args=(), kwargs={})
    t.setDaemon(True)
    t.start()
    return HttpResponse("main thread content")

这将首先返回响应，然后将“进程完成”打印到控制台。所以用户不会面临任何延迟。

使用 Celery 绝对是更好的解决方案。但是，对于服务器有限的非常小的项目等，安装 Celery 可能是不必要的。

您可能还需要在大型项目中使用线程。因为在所有服务器上运行 Celery 并不是一个好主意。那么就没有办法在每台服务器上运行一个单独的进程。您可能需要线程来处理这种情况。文件系统操作可能就是一个例子。不过这不太可能，最好还是将 Celery 用于长时间运行的进程。

明智地使用。