芹菜工人变量共享问题答案

【问题标题】：Celery worker variable sharing issues芹菜工人变量共享问题
【发布时间】：2011-12-28 02:53:46
【问题描述】：

我在一个项目中使用 Python 和 celery。在项目中，我有两个文件：

celeryconfig.py

BROKER_URL = "amqp://guest:guest@localhost:5672//"
CELERY_RESULT_BACKEND = "amqp"
CELERY_IMPORTS = ("example",)
CELERYD_CONCURRENCY = 2

和example.py

from celery.task import task
import hashlib

md5 = hashlib.md5()

@task
def getDigest(text):
    print 'Using md5 - ',md5
    md5.update(text)
    return md5.digest()

在 celeryconfig.py 中，我将 CELERYD_CONCURRENCY 设置为 2，这意味着它会将我的任务队列中的任务分配给 2 个不同的过程。

从 Python 控制台，我运行：

from example import getDigest
getDigest.delay('foo');getDigest.delay('bar')

这会创建两个由两个工作人员同时执行的任务。问题是，由于两个工作进程都运行它们的任务函数 [getDigest()]，它们似乎使用相同的哈希对象 (md5)。 celeryd 的输出证实了这一点，如下所示。

[PoolWorker-2] Using md5 -
[PoolWorker-2] <md5 HASH object @ 0x23e6870>
[PoolWorker-1] Using md5 -
[PoolWorker-1] <md5 HASH object @ 0x23e6870>

为了简单起见，我使用的是hashlib的md5对象，但是在我的实际项目中，我使用的是一个不能被多个进程访问和修改的对象。这预计会使工人崩溃。

这就引出了一个问题：如何修改我的代码以使工作进程初始化并使用它们自己的 (md5) 对象？现在，他们共享同一个对象——导致我的应用程序崩溃。这可能吗？

【问题讨论】：

非常清晰的问题！我希望更多的人写清楚。

标签： python multiprocessing celery celery-task celeryd

【解决方案1】：

他们使用相同的对象，因为您在代码中明确告诉他们这样做。通过在任务范围之外创建对象并在任务中使用它，您可以让所有工作人员访问共享对象。这是一个并发问题，不一定是 Celery 问题。如果对象很小，您可以使用对象的副本，或者使用您自己的锁定策略。不过，一般来说，如果一个对象一次要被多个进程更新，它需要采用某种同步，这超出了 Celery 的范围。

【讨论】：

它不是同一个对象。 Celery 复制过程 pr。 worker，在这种情况下为您提供相同的 md5 对象标识。