Python多处理Numpy随机[重复]

Question

在多处理调用的函数中，numpy ndarray 函数的范围是否不同？这是一个例子：

使用 python 的多处理模块我正在调用这样的函数：

for core in range(cores):
    #target could be f() or g()
    proc = mp.Process(target=f, args=(core))
    jobs.append(proc)
for job in jobs:
    job.start()
for job in jobs:
    job.join()

def f(core):
    x = 0
    x += random.randint(0,10)
    print x

def g(core):
    #Assume an array with 4 columns and n rows
    local = np.copy(globalshared_array[:,core])
    shuffled = np.random.permutation(local)

调用f(core)，x 变量是进程本地的，即。它按预期打印一个不同的随机整数。这些永远不会超过 10，表明每个进程中都有 x=0。对吗？

调用 g(core) 并排列数组的副本会返回 4 个完全相同的“混洗”数组。这似乎表明工作副本不是子进程的本地。那是对的吗？如果是这样，除了使用共享内存空间之外，当需要从共享内存空间填充时，是否可以将 ndarray 放在子进程的本地？

编辑：

更改g(core) 以添加随机整数似乎具有预期的效果。数组显示不同的值。 permutation 中一定发生了一些事情，即随机排列列（每个子进程的本地）相同...想法？

def g(core):
    #Assume an array with 4 columns and n rows
    local = np.copy(globalshared_array[:,core])
    local += random.randint(0,10)

编辑二： np.random.shuffle 也表现出相同的行为。数组的内容正在洗牌，但在每个核心上都洗牌到相同的值。

Answer 1

播种随机数组this post 是最有用的。以下g(core) 函数成功为每个核心生成随机排列。

def g(core):
    pid = mp.current_process()._identity[0]
    randst = np.random.mtrand.RandomState(pid)
    randarray = randst.randint(0,100, size=(1,100)

Answer 2

调用 g(core) 并排列数组的副本会返回 4 个完全相同的“混洗”数组。这似乎表明工作副本不是本地子进程。

这可能表明随机数生成器在每个子进程中被相同地初始化，产生相同的序列。您需要为每个孩子的生成器播种（也许将孩子的进程 id 混入其中）。