scipy 和 numpy 中的快速距离计算

Question

让A,B 成为((day,observation,dim)) 数组。每个数组在给定的一天包含相同数量的观测值，观测值是一个尺寸昏暗的点（即昏暗的浮点数）。对于每一天，我想计算当天A 和B 中所有观测值之间的空间距离。

例如：

import numpy as np
from scipy.spatial.distance import cdist

A, B = np.random.rand(50,1000,10), np.random.rand(50,1000,10)

output = []
for day in range(50):
    output.append(cdist(A[day],B[day]))

我在哪里使用scipy.spatial.distance.cdist。

有没有更快的方法来做到这一点？理想情况下，我想为output 获取一个((day,observation,observation)) 数组，该数组包含每天在A 和B 中的观察之间的成对距离，同时以某种方式避免了几天的循环。

Answer 1

一种方法（尽管它需要大量内存）是巧妙地使用数组广播：

output = np.sqrt( np.sum( (A[:,:,np.newaxis,:] - B[:,np.newaxis,:,:])**2, axis=-1) )

---

编辑

但经过一些测试，似乎 scikit-learn 的 euclidean_distances 可能是大型数组的最佳选择。 （请注意，我已将您的循环重写为列表理解。）

这是针对每天 100 个数据点：

# your own code using cdist
from scipy.spatial.distance import cdist
%timeit dists1 = np.asarray([cdist(x,y) for x, y in zip(A, B)])

100 loops, best of 3: 8.81 ms per loop

# pure numpy with broadcasting
%timeit dists2 = np.sqrt( np.sum( (A[:,:,np.newaxis,:] - B[:,np.newaxis,:,:])**2, axis=-1) )

10 loops, best of 3: 46.9 ms per loop

# scikit-learn's algorithm
from sklearn.metrics.pairwise import euclidean_distances
%timeit dists3 = np.asarray([euclidean_distances(x,y) for x, y in zip(A, B)])
100 loops, best of 3: 12.6 ms per loop

这是每天 2000 个数据点：

In [5]: %timeit dists1 = np.asarray([cdist(x,y) for x, y in zip(A, B)])
1 loops, best of 3: 3.07 s per loop

In [7]: %timeit dists3 = np.asarray([euclidean_distances(x,y) for x, y in zip(A, B)])

1 loops, best of 3: 2.94 s per loop

Answer 2

编辑：我是个白痴，忘记了 python 的 map 是懒惰地评估的。我的“更快”代码实际上并没有做任何工作！强制评估消除了性能提升。

我认为你的时间将被花在 scipy 函数中的时间所支配。无论如何，我会使用map 而不是循环，因为我认为它有点整洁，但我认为没有任何神奇的方法可以在这里获得巨大的性能提升。也许用 cython 或使用 numba 编译代码会有所帮助。