使用 Python 共享内存的分段错误

Question

函数store_in_shm 将一个numpy 数组写入共享内存，而第二个函数read_from_shm 使用同一共享内存空间中的数据创建一个numpy 数组并返回该numpy 数组。

但是，在 Python 3.8 中运行代码会出现以下分段错误：

zsh: 分段错误 python foo.py

为什么从函数read_from_shm内部访问numpy数组没有问题，但是在函数外部再次访问numpy数组时出现分段错误？

输出：

From read_from_shm(): [0 1 2 3 4 5 6 7 8 9]
zsh: segmentation fault  python foo.py
% /Users/athena/opt/anaconda3/envs/test/lib/python3.8/multiprocessing/resource_tracker.py:203: UserWarning: resource_tracker: There appear to be 1 leaked shared_memory objects to clean up at shutdown
  warnings.warn('resource_tracker: There appear to be %d '

foo.py

import numpy as np
from multiprocessing import shared_memory

def store_in_shm(data):
    shm = shared_memory.SharedMemory(name='foo', create=True, size=data.nbytes)
    shmData = np.ndarray(data.shape, dtype=data.dtype, buffer=shm.buf)
    shmData[:] = data[:]
    shm.close()
    return shm

def read_from_shm(shape, dtype):
    shm = shared_memory.SharedMemory(name='foo', create=False)
    shmData = np.ndarray(shape, dtype, buffer=shm.buf)
    print('From read_from_shm():', shmData)
    return shmData

if __name__ == '__main__':
    data = np.arange(10)
    shm = store_in_shm(data)
    shmData = read_from_shm(data.shape, data.dtype)
    print('From __main__:', shmData)    # no seg fault if we comment this line
    shm.unlink()

Answer 1

基本上，问题似乎是当函数返回时对shm 进行垃圾收集时，底层mmap'ed 文件（由read_from_shm 内的shm 拥有）正在关闭。然后shmData 引用它，这是你得到segfault 的地方（用于引用封闭的mmap）这似乎是known bug，但可以通过保留对shm 的引用来解决。

此外，所有SharedMemory 实例都希望成为close()'d，其中一个在不再需要时被unlink()'ed。如果您不自己调用shm.close()，它将在GC 上调用，如前所述，并且在Windows 上，如果它是当前唯一“打开”的共享内存文件将被删除。当您在store_in_shm 中调用shm.close() 时，您会引入操作系统依赖项，因为在Windows 上数据将被删除，而在MacOS 和Linux 上，它将一直保留到调用unlink。

最后，虽然这没有出现在您的代码中，但 another problem 当前存在，从独立进程（而不是子进程）访问数据同样会过早地删除底层 mmap。 SharedMemory 是一个非常新的库，希望所有问题都能很快解决。

您可以重新编写给定的示例以保留对“第二个”shm 的引用，并且只使用其中一个到 unlink：

import numpy as np
from multiprocessing import shared_memory

def store_in_shm(data):
    shm = shared_memory.SharedMemory(name='foo', create=True, size=data.nbytes)
    shmData = np.ndarray(data.shape, dtype=data.dtype, buffer=shm.buf)
    shmData[:] = data[:]
    #there must always be at least one `SharedMemory` object open for it to not
    #  be destroyed on Windows, so we won't `shm.close()` inside the function,
    #  but rather after we're done with everything.
    return shm

def read_from_shm(shape, dtype):
    shm = shared_memory.SharedMemory(name='foo', create=False)
    shmData = np.ndarray(shape, dtype, buffer=shm.buf)
    print('From read_from_shm():', shmData)
    return shm, shmData #we need to keep a reference of shm both so we don't
                        #  segfault on shmData and so we can `close()` it.

if __name__ == '__main__':
    data = np.arange(10)
    shm1 = store_in_shm(data)
    #This is where the *Windows* previously reclaimed the memory resulting in a 
    #  FileNotFoundError because the tempory mmap'ed file had been released.
    shm2, shmData = read_from_shm(data.shape, data.dtype)
    print('From __main__:', shmData)
    shm1.close() 
    shm2.close()
    #on windows "unlink" happens automatically here whether you call `unlink()` or not.
    shm2.unlink() #either shm1 or shm2