【问题标题】:Python memory leaks trackdown?Python内存泄漏追踪?
【发布时间】:2011-07-24 21:44:37
【问题描述】:

不知何故,我的 Python 程序在运行“top”命令的列(VIRT 和 RES)时占用的内存越来越多。

但是,我非常仔细地仔细检查了我的代码,并且我确定没有内存泄漏(没有使用任何字典,没有全局变量。它只是一个主方法多次调用子方法) .

我使用 heapy 来分析我的内存使用情况

from guppy import hpy;
heap = hpy();
.....
print heap.heap();

每次主方法调用子方法。令人惊讶的是,它总是给出相同的输出。但是内存使用量一直在增长。

我想知道我是否没有正确使用 heapy,或者“top”命令中的 VIRT 和 RES 并没有真正反映我的代码使用的内存?

或者谁能提供一种更好的方法来跟踪 Python 脚本中的内存使用情况?

非常感谢!

【问题讨论】:

标签: python memory memory-leaks


【解决方案1】:

两种可能的情况:

  • 您的函数是纯 Python,在这种情况下可能的原因包括

    • 您正在存储越来越多的大型对象
    • 您正在使用 __del__ 方法循环对象,而 gc 不会触及这些对象

    我建议使用gc 模块和gc.garbagegc.get_objects 函数(请参阅http://docs.python.org/library/gc.html#module-gc)来获取现有对象的列表,然后您可以通过查看__class__ 来内省它们例如,每个对象的属性以获取有关对象类的信息。

  • 您的函数至少部分是用 C/C++ 编写的,在这种情况下,问题可能出在该代码中。上面的建议仍然适用,但无法看到所有泄漏:您将看到由于缺少对 PY_DECREF 的调用而导致的泄漏,但不会看到没有相应释放的低级别 C/C++ 分配。为此,您将需要 valgrind。有关该主题的更多信息,请参阅this question

【讨论】:

    猜你喜欢
    • 2012-07-01
    • 1970-01-01
    • 2011-02-15
    • 2012-12-21
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-05-11
    • 2017-08-30
    相关资源
    最近更新 更多