与 SciPy.optimize 的并行性

Question

我正在编写一些使用scipy.optimize.leastsq 优化功能的研究代码。它每次迭代大约执行 18 次，所以我想并行调用 minimumsq 以减少运行时间。这应该不是问题，因为优化几乎是完全独立的，因此只需要很少的同步。我最近发现了multiprocessing.pool.ThreadPool，它可以让我在不必显式设置共享内存的情况下执行此操作（因为我的大部分数据都在 NumPy 数组中，所以很痛苦）。所以我稍微重写了我的代码，希望它能工作，但它会抛出一个奇怪的错误：SystemError: null argument to internal routine。

以下是我的代码的简化：

def optfunc(id):
    def errfunc(x):
        return somedata[id] - somefunc(x)

    lock.acquire()
    x0 = numpy.copy(currentx[id])
    lock.release()

    result = scipy.optimize.leastsq(errfunc, x0)

    lock.acquire()
    currentx[id] = result
    lock.release()

ThreadPool(processes=8).map(optfunc, range(idcount))

这应该可以正常工作，除非scipy.optimize.leastsq 不是线程安全的。所以我尝试在scipy.optimize.leastsq 周围加锁；瞧，它的工作原理。但是，处理器利用率一直停留在 100%，所以这对我来说毫无用处。

我的问题是我能做些什么呢？我认为我的选择是：

1. 找到 LM 的线程安全实现（也许是 levmar？）
2. 尝试使用进程而不是线程（我认为这不会产生影响）

任何帮助或建议将不胜感激。

Answer 1

使用进程而不是线程会有所不同——无论程序是否是线程安全的，它都可以工作。当然，是否更快取决于解决问题所花费的时间是否大于开销。

使用流程可能需要一些额外的麻烦来设置所有必要的数据。然而，multiprocessing 模块负责大部分工作，所以这应该不会太难。

Answer 2

多少 CPU/内核？如果您所拥有的东西在没有线程的情况下以 100% 运行，那么您将一无所获。如果leastq() 不是线程安全的，并且您没有使用 100% 的计算机，那么您可以为每个内核运行一个程序实例并让这些实例通过文件系统同步。