饥饿的 Python 工作者中的内存泄漏

Question

我有一些工作人员正在侦听 RabbitMQ 队列，并且正在执行一些磁盘 I/O 密集型工作 - 打开约 18MB 的文件，进行一些解析并写入一些文件。在处理一项工作时，工人可能会占用多达 200MB 的内存。这很好。

但是，我的问题是工作人员继续处于空闲状态并仍在保留这么多的内存。在工作完成后，我盲目地尝试使用 gc.collect() 手动进行一些垃圾收集，但没有任何结果。

我的接受工作的工人阶级如下所示：

class BuildWorker(worker.Worker):

    def callback(self, ch, method, properties, body):
        fp = FileParseAndStuff()
        fp.execute_job(ch, method, properties, body)
        fp = None

不应该在 fp 中发生的所有事情都被包含在内存中并且一旦我将该对象设置为 None 就被删除吗？我也尝试过使用 Python 的 del 语句，但没有任何改进。

我正在使用 Python 2.7 和 python-pika 与 RabbitMQ 服务器通信，如果这很重要的话。

Answer 1

在fp = None 之前放置一个标志，例如写入文件“完成”或打印到控制台。当您调用 del 或 gc.collect() 时，您的工作人员可能还不在那里。如果是，请检查您的 execute_job 方法。