【问题标题】:Precision loss in shared multiprocessing array?共享多处理阵列中的精度损失?
【发布时间】:2018-07-27 23:09:05
【问题描述】:

我正在尝试使用多处理 Array 类型在进程之间共享一个可写对象。我已阅读有关这样做的许多注意事项,但由于物理内存限制,我认为在我的应用程序中这是必要的。

似乎在使用 Array 时存在一些精度损失,但我无法完全弄清楚。这是一个可重现的示例,它比较了通过多处理数组(带锁)和直接对一系列随机数组求和的结果:

import numpy as np
from joblib import Parallel, delayed
from multiprocessing import Pool, Array 

# Initialize multiprocessing Array and numpy view
n = 100
m = 100
num_reps = 100
arr = Array('d', n*m)
shared_result = np.ctypeslib.as_array(arr.get_obj()).reshape(n,m)

# Function to add random arrays to multiprocessing array
def adder(i,shared_res=shared_result,arr=arr):
    tmp = np.random.rand(n,m)
    with arr.get_lock():
        shared_result[:,:] += tmp
    return tmp

if __name__ == '__main__':
    with Parallel(n_jobs=10) as parallel:       
        tst = parallel(delayed(adder)(k) for k in range(num_reps))

# Compare results from multiprocessing Array vs. explicit sum
print(np.mean(shared_result - sum(tst)))

这会产生:

9.73443547991e-17

虽然我预计为 0。是否有一些我在这里没有看到的精度问题?

更新:看来问题出在Parallel。如果您不使用它,而是使用它

tst = [adder(k) for k in range(num_reps)]
print(np.mean(np.abs(shared_result - sum(tst))))

正如下面 abarnert 建议的那样,你得到 0。那么在 Parallel 中酸洗会降低一些精度是怎么回事?

【问题讨论】:

  • 如果您在没有Parallel 的情况下运行相同的代码,只使用tst = [adder(k) for k in range(num_reps)],是否总是给出0?
  • 另外,你确定是共享数组关闭了,而不是你从adder 到Parallel 返回的tmp(这意味着它必须被腌制和取消腌制)?跨度>
  • 感谢您的建议。你是对的——我刚刚在上面添加了一个更新,表明问题出在Parallel。
  • 什么版本的 Python 和 joblib?如果是 Python 2.x,也许它使用的是 pickle 格式 0,IIRC 实际上意味着浮点数上的 repr/eval 往返。虽然这似乎不太可能。
  • 这个 python 3.5.5 和 joblib 0.11。

标签: python numpy parallel-processing multiprocessing joblib


【解决方案1】:

你的原始数据的大小是0到1。你的误差大约是1e-16。

这是完全正常的,因为 64 位浮点数有大约 15 位有效数字。因此,对于 0.5 级的计算,预计会出现 1e-16 的误差。

至于为什么在使用进程间通信时不会出现错误,可能是因为你的本地CPU使用的是80位内部浮点格式(x87一直都是这样),而进程间发送的浮点数是将被限制为 64 位精度。

有一些特殊的技术可以更准确地对浮点数集求和。这是一个:https://en.wikipedia.org/wiki/Kahan_summation_algorithm

【讨论】:

  • 谢谢。无论如何,我有兴趣使用进程间总和。
  • @Evan:当然。它没有任何问题——你不能假设浮点计算是精确的(多处理与否)。
猜你喜欢
  • 2017-02-12
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2014-07-13
  • 1970-01-01
  • 2015-04-26
相关资源
最近更新 更多