Python 多处理失控内存

Question

我有一个昂贵的函数可以在许多并行的独立对象上执行，所以我正在尝试使用多处理模块。但是，内存消耗似乎处于失控的上升轨道上。请参阅下面的附图。

基本上我有一个大型二进制对象的路径列表。我有一个用这个列表实例化的类。在这个类的__iter__ 方法中，我从磁盘读取文件并生成它。这个想法是我遍历这个对象列表（它将文件读入内存）并执行一些昂贵的操作。下面是一些示例代码来模拟这一点。我正在使用np.random.rand(100,100) 来模拟将大文件读入内存，如果模拟昂贵函数中的矩阵，我只是索引 [0,0] 元素。

import numpy as np
from pathos.multiprocessing import ProcessingPool as Pool
from memory_profiler import profile

class MyClass:
    def __init__(self, my_list):
        self.name = 'foo'
        self.my_list = my_list

    def __iter__(self):
        for item in self.my_list:
            yield np.random.rand(100,100)

def expensive_function(foo):
    foo[0,0]

my_list = range(100000)
myclass = MyClass(my_list)

iter(myclass) # should not return anything

p = Pool(processes=4, maxtasksperchild=50)
p.map(expensive_function, iter(myclass), chunksize=100)

问题可以在情节中看到。内存消耗似乎在不断攀升。我预计总内存消耗约为每个子进程消耗的 4 倍，但情况似乎并非如此。

是什么导致了这种失控的内存使用，我该如何解决？

Answer 1

每次孩子开始调用expensive_function，它都会从MyClass.__iter__ 接收一个新的np.random.rand(100,100) 数组。这些数组在主进程中持续存在，因此内存使用量当然会继续增长；子进程无法清理这些，它们存在于父进程中。请注意峰值略低于 8 GiB，或者您应该期望生成多少数据（100000 个数组，具有 100x100 个条目，每个条目 8 个字节）