当任务结果很大时，我应该如何使用 Celery？答案

【问题标题】：How should I use Celery when task results are large?当任务结果很大时，我应该如何使用 Celery？
【发布时间】：2011-05-13 15:14:13
【问题描述】：

处理在 Celery 中执行且结果很大的任务的最佳方法是什么？我正在考虑诸如表转储之类的事情，我可能会返回数百兆字节的数据。

我认为将消息塞入结果数据库的幼稚方法在这里对我没有用，更不用说如果我将 AMQP 用于我的结果后端。但是，我有一些延迟是一个问题；根据导出的特定实例，有时我必须阻塞直到它返回并直接从任务客户端发出导出数据（导出内容的 HTTP 请求进入，它不存在，但 必须在对该请求的响应中提供...无论需要多长时间）

那么，为此编写任务的最佳方式是什么？

【问题讨论】：

标签： python architecture task celery task-queue

【解决方案1】：

一种选择是在您的所有工作机器上运行一个静态 HTTP 服务器。然后，您的任务可以将大结果转储到静态根目录中的唯一文件，并返回对该文件的 URL 引用。然后，接收者可以随意获取结果。

例如。有点像这样：

@task
def dump_db(db):
  # Some code to dump the DB to /srv/http/static/db.sql
  return 'http://%s/%s.sql' % (socket.gethostname(), db)

您当然需要一些方法来获取旧文件，以及保证唯一性，可能还有其他问题，但您明白了。

【讨论】：

【解决方案2】：

我通过构建我的应用程序来处理这个问题，将数兆字节的结果写入文件，我将它们 memmap 到内存中，以便它们在使用该数据的所有进程之间共享......这完全解决了如何获取的问题结果到另一台机器，但如果结果那么大，听起来这些任务是服务器进程之间的内部任务协调。

【讨论】：