将 numpy 数组转换为共享内存数组的代码出现 Pickle 错误

Question

尝试使用此处的代码https://stackoverflow.com/a/15390953/378594 将 numpy 数组转换为共享内存数组并返回。运行以下代码：

shared_array = shmarray.ndarray_to_shm(my_numpy_array)

然后将 shared_array 作为参数传递到多处理池的参数列表中：

pool.map(my_function, list_of_args_arrays)

list_of_args_arrays 包含我的共享数组和其他参数。

导致如下错误

PicklingError: Can't pickle <class 'multiprocessing.sharedctypes.c_double_Array_<array size>'>: attribute lookup multiprocessing.sharedctypes.c_double_Array_<array size> failed

<array_size> 是我的 numpy 数组的线性大小。

我猜 numpy ctypes 或类似的东西发生了变化？

更多详情：

我只需要访问共享信息。进程不会进行任何编辑。

调用池的函数位于一个类中。类被初始化，函数被main.py文件调用。

Answer 1

显然，当使用multiprocessing.Pool 时，所有参数都被腌制了，因此使用multiprocessing.Array 没有用处。更改代码以便它使用一系列进程就可以了。

Answer 2

我认为你把事情复杂化了： 不需要腌制数组（特别是如果它们是只读的）：

你只需要通过一些全局变量来保持它们可以访问：

（已知在linux下工作，但在windows下可能不工作，不知道）

import numpy as np,multiprocessing as mp
class si:
  arrs=None

def summer(i):
    return si.arrs[i].sum()

def main():
    si.arrs=[np.zeros(100) for _ in range(1000)]
    pool = mp.Pool(16)
    res=pool.map(summer,range(1000))
    print res

if __name__ == '__main__':
    main()

如果你的数组需要读写，你需要使用这个： Is shared readonly data copied to different processes for Python multiprocessing?