Numpy矩阵行比较

Question

这个问题更侧重于计算的性能。

我有 2 个列数相同但行数不同的矩阵。一个矩阵是“模式”，其行必须分别与其他矩阵行（所有行）进行比较，然后才能提取平均值的统计值等于模式、标准、... 所以，我有以下矩阵，计算如下：

numCols = 10
pattern = np.random.randint(0,2,size=(7,numCols))
matrix = np.random.randint(0,2,size=(5,numCols))

comp_mean = np.zeros(pattern.shape[0])
for i in range(pattern.shape[0]):
    comp_mean[i] = np.mean(np.sum(pattern[i,:] == matrix, axis=1))

print comp_mean # Output example: [ 1.6  1.   1.6  2.2  2.   2.   1.6]

这很清楚。问题是两者的矩阵行数都大得多（~1.000.000）。所以这段代码很慢。我尝试实现 numpy 语法，因为有时它会令我惊讶地改进计算时间。所以我做了以下代码（它可能很奇怪，但它有效！）：

comp_mean = np.mean( np.sum( (pattern[np.repeat(np.arange(pattern.shape[0]), matrix.shape[0])].ravel() == np.tile(matrix.ravel(),pattern.shape[0])).reshape(pattern.shape[0],matrix.shape[0],matrix.shape[1]), axis=2 ),axis=1)
print comp_mean

但是，此代码比使用“for”扣环的前一个代码要慢。所以我想知道是否有可能加快计算速度。

编辑

我检查了实矩阵的不同方法的运行时间，结果如下：

• 我 - 方法 1：18.04 秒
• 我 - 方法 2：303.10 秒
• Divakar - 方法 1：18.79 秒
• Divakar - 方法 2：65.11 秒
• Divakar - 方法 3.1：137.78 秒
• Divakar - 方法 3.2：59.59 秒
• Divakar - 方法 4：6.06 秒

编辑(2)

以前在笔记本电脑上执行的运行。我已经在桌面上运行了代码。我已经避免了最坏的结果，并且新的运行时现在不同了：

• 我 - 方法 1：6.25 秒
• Divakar - 方法 1：4.01 秒
• Divakar - 方法 2：3.66 秒
• Divakar - 方法 4：3.12 秒

Answer 1

这里可以建议使用broadcasting 的几种方法。

方法#1

out = np.mean(np.sum(pattern[:,None,:] == matrix[None,:,:],2),1)

方法 #2

mrows = matrix.shape[0]
prows = pattern.shape[0]
out = (pattern[:,None,:] == matrix[None,:,:]).reshape(prows,-1).sum(1)/mrows

方法#3

mrows = matrix.shape[0]
prows = pattern.shape[0]
out = np.einsum('ijk->i',(pattern[:,None,:] == matrix[None,:,:]).astype(int))/mrows
# OR out = np.einsum('ijk->i',(pattern[:,None,:] == matrix[None,:,:])+0)/mrows

---

方法#4

如果 matrix 中的行数很大，最好坚持使用 for 循环以避免这种情况下的巨大内存需求，这也可能导致运行速度变慢。相反，我们可以在每次循环迭代中进行一些优化。这是显示的一种可能的优化 -

mrows = matrix.shape[0]
comp_mean = np.zeros(pattern.shape[0])
for i in range(pattern.shape[0]):
    comp_mean[i] = (pattern[i,:] == matrix).sum()
comp_mean = comp_mean/mrows

Answer 2

你可以试试这个：

import scipy.ndimage.measurements

comp_mean = np.zeros(pattern.shape[0])
for i in range(pattern.shape[0]):
    m = scipy.ndimage.measurements.histogram(matrix,0,1,2,pattern[i],[0,1])
    comp_mean[i] = m[0][0]+m[1][1]
comp_mean /= matrix.shape[0]

问候。