Python/Jupyter Notebook 中的内存泄漏

Question

通过在 单个 Jupyter Notebook 单元格中运行仅以下代码，我在函数的内存中加载了 1GB 的文件，然后我返回函数定义后的结果：

import pickle

def fun():
    with open('./data/input/train_test_clevr_pkls/train_clevr_1000.pkl', 'rb') as handle:
        return pickle.load(handle)

fun()

Jupyter Notebook 然后将打印函数的输出。查看运行单元后消耗的内存，它如预期的那样位于 1GB。但是，如果我多次运行同一个单元，内存占用量每次增加 1GB，直到我的整个 RAM 被消耗，然后我的 Windows 操作系统使用页面文件交换来处理标记为已消耗的更多内存，这会破坏我的应用程序的性能。我已经尝试使用gc.collect() 释放内存，但无济于事。

我看到有人问过类似的问题，但我没有找到问题的答案。内存不在内部被重用，它只会增长！

Answer 1

您看到这个的原因是因为 Jupyter 将所有引用存储到一个名为 Out 的名称。

MRE（所有这些都在一个单元格中）

from itertools import product

def foo():
    return [*product(range(5), repeat=5)]

[foo() for _ in range(5)]

当你在单元格中运行它时，Jupyter 会将它保存到字典 Out。

Out的部分内容

{1: [[(0, 0, 0, 0, 0),
   (0, 0, 0, 0, 1),
   (0, 0, 0, 0, 2),
   (0, 0, 0, 0, 3),
   (0, 0, 0, 0, 4),
   (0, 0, 0, 1, 0),
   (0, 0, 0, 1, 1),
   (0, 0, 0, 1, 2),
   (0, 0, 0, 1, 3),
   (0, 0, 0, 1, 4),
   (0, 0, 0, 2, 0),
   (0, 0, 0, 2, 1),...}

当您再次运行代码块时，它会将该值存储到 Out 中的新键 3。每次运行单元格时，这都会不断向Out dict 添加新的键值对。

现在是print(...)时没有发生的原因

from itertools import product

def foo():
    return [*product(range(5), repeat=5)]

print([foo() for _ in range(5)])

在这种情况下，Jupyter 不会将结果保存到 Out 字典中。无论您运行多少次单元格，Out dict 将始终为{}。