在 Python 3 / Numpy 中保留迭代过程的同时有效地迭代创建距离矩阵

Question

我有一个矩阵 A 并想从它迭代计算距离矩阵 D。想要一步一步计算的原因是为了以后在迭代过程中包含一些if语句。

我现在的代码如下所示：

import numpy as np
from scipy.spatial import distance

def create_data_matrix(n,m):
    mean = np.zeros(m)
    cov = np.eye(m, dtype=float)
    data_matrix = np.random.multivariate_normal(mean,cov,n)
    return(data_matrix)
def create_full_distance(A):
    distance_matrix = np.triu(distance.squareform(distance.pdist(A,"euclidean")),0)
    return(distance_matrix)

matrix_a = create_data_matrix(1000,2)
distance_from_numpy = create_full_distance(matrix_a)
matrix_b = np.empty((1000,1000))
for idx, line in enumerate(matrix_a):
    for j, line2 in enumerate(matrix_a):
        matrix_b[idx][j] = distance.euclidean(matrix_a[idx],matrix_a[j])

现在矩阵 "distance_from_numpy" 和 "matrix_b" 是相同的，尽管 matrix_b 需要更长的时间来计算尽管 matrix_a 只是一个 (100x2) 矩阵，而且我知道 "distance.pdist()" 方法非常快但我不确定是否可以在迭代过程中实现它。
我的问题是，为什么双 for 循环这么慢，我怎样才能提高速度，同时仍然保留迭代过程（因为我想在那里包含 if 语句）？

编辑：对于上下文：我想保留迭代，因为如果其中一个距离小于特定数字，我想停止迭代。

Answer 1

Python 是一种高级语言，因此循环本身就很慢。它只需要处理很多开销。随着嵌套循环数量的增加，这种情况会变得越来越糟。另一方面，Numpy 使用快速的 Fortran 代码。

为了加快 Python 的实现速度，例如，您可以使用 Cython 实现循环部分，它将您的代码转换为 C，然后编译它以加快执行速度。其他选项是 Numba，或者在 Fortran 中编写循环。

Answer 2

正如 Ehsan 在评论中提到的，我使用 numba 来提高计算速度。

from numba import jit
import numpy as np
from scipy.spatial import distance

def create_data_matrix(n,m):
    mean = np.zeros(m)
    cov = np.eye(m, dtype=float)
    data_matrix = np.random.multivariate_normal(mean,cov,n)
    return(data_matrix)
    
def create_full_distance(A):
    distance_matrix = np.triu(distance.squareform(distance.pdist(A,"euclidean")),0)
    return(distance_matrix)

@jit(nopython=True) # Set "nopython" mode for best performance, equivalent to @njit
def slow_loop(matrix_a):
    matrix_b = np.empty((1000,1000))
    for i in range(len(matrix_a)):
        for j in range(len(matrix_a)):
            #matrix_b[i][j] = distance.euclidean(matrix_a[i],matrix_a[j])
            matrix_b[i][j] = np.linalg.norm(matrix_a[i]-matrix_a[j])
    print("matrix_b: ",matrix_b)
    return()

def slow_loop_without_numba(matrix_a):
    matrix_b = np.empty((1000,1000))
    for i in range(len(matrix_a)):
        for j in range(len(matrix_a)):
            matrix_b[i][j] = np.linalg.norm(matrix_a[i]-matrix_a[j])
    return()
    
matrix_a = create_data_matrix(1000,2)

start = time.time()
ergebnis = create_full_distance(matrix_a)
#print("ergebnis: ",ergebnis)  
end = time.time()
print("with scipy.distance.pdist = %s" % (end - start))

start2 = time.time() 
slow_loop(matrix_a)
end2 = time.time()
print("with @jit onto np.linalg.norm = %s" % (end2 - start2))

start3 = time.time()
slow_loop_without_numba(matrix_a)
end3 = time.time()
print("slow_loop without numba = %s" % (end3 - start3))

我执行了代码并产生了以下结果：

with scipy.distance.pdist = 0.021986722946166992
with @jit onto np.linalg.norm = 0.8565070629119873
slow_loop without numba = 6.818004846572876

虽然 scipy 仍然快得多，但 numba 将计算速度提高了很多。距离矩阵越大，这将越有趣。我不能在带有 scipy 方法的函数上使用 numba。