【发布时间】:2018-07-27 23:09:05
【问题描述】:
我正在尝试使用多处理 Array 类型在进程之间共享一个可写对象。我已阅读有关这样做的许多注意事项,但由于物理内存限制,我认为在我的应用程序中这是必要的。
似乎在使用 Array 时存在一些精度损失,但我无法完全弄清楚。这是一个可重现的示例,它比较了通过多处理数组(带锁)和直接对一系列随机数组求和的结果:
import numpy as np
from joblib import Parallel, delayed
from multiprocessing import Pool, Array
# Initialize multiprocessing Array and numpy view
n = 100
m = 100
num_reps = 100
arr = Array('d', n*m)
shared_result = np.ctypeslib.as_array(arr.get_obj()).reshape(n,m)
# Function to add random arrays to multiprocessing array
def adder(i,shared_res=shared_result,arr=arr):
tmp = np.random.rand(n,m)
with arr.get_lock():
shared_result[:,:] += tmp
return tmp
if __name__ == '__main__':
with Parallel(n_jobs=10) as parallel:
tst = parallel(delayed(adder)(k) for k in range(num_reps))
# Compare results from multiprocessing Array vs. explicit sum
print(np.mean(shared_result - sum(tst)))
这会产生:
9.73443547991e-17
虽然我预计为 0。是否有一些我在这里没有看到的精度问题?
更新:看来问题出在Parallel。如果您不使用它,而是使用它
tst = [adder(k) for k in range(num_reps)]
print(np.mean(np.abs(shared_result - sum(tst))))
正如下面 abarnert 建议的那样,你得到 0。那么在 Parallel 中酸洗会降低一些精度是怎么回事?
【问题讨论】:
-
如果您在没有
Parallel的情况下运行相同的代码,只使用tst = [adder(k) for k in range(num_reps)],是否总是给出0? -
另外,你确定是共享数组关闭了,而不是你从
adder到Parallel返回的tmp(这意味着它必须被腌制和取消腌制)?跨度> -
感谢您的建议。你是对的——我刚刚在上面添加了一个更新,表明问题出在
Parallel。 -
什么版本的 Python 和 joblib?如果是 Python 2.x,也许它使用的是 pickle 格式 0,IIRC 实际上意味着浮点数上的 repr/eval 往返。虽然这似乎不太可能。
-
这个 python 3.5.5 和 joblib 0.11。
标签: python numpy parallel-processing multiprocessing joblib