python中的多处理空间内核密度估计

Question

我正在使用 scipy.stats.kde.gaussian kde 计算空间 KDE。然而，它的评估需要相当多的时间——我脚本时间的 70%，即 10000 行需要 26 秒。我想让它更快。这是我的原始代码：

from scipy.stats import kde
kernel = kd.gausian_kde(values, bw_method=.05)
result = kernel(positions)

基于Speed up sampling of kernel estimate，我实现了多处理：

SKERNEL = None

# sets global kernel function 
# - multiprocessing requires my function to be top-level module function
setKernel()

def calc_kernel(sample):
    return SKERNEL(sample)

def genKernel(elements):

    cores = mp.cp_count()
    torun = np.array_split(elements, cores, axis=1)

    pool = mp.Pool(processes = cores)
    r = pool.map(calc_kernel, torun)
    return np.concatenate(r)

但是，在同一数据集上，此实现需要 36 秒才能运行。 使用 cProfiler，我可以看到大部分时间都需要“等待”过程。我做错了什么以及如何修改它以更快地工作？

Answer 1

在每个位置评估内核的成本取决于该位置附近的值数组的密度。也就是说，将要划分的点拆分为大小相等的数组不会导致这些子问题的评估时间相等；对于我曾经处理过的每一个 KDE 类型的问题，这都是非常正确的。