访问矩阵并将值放入矩阵的最快方法答案

【问题标题】：Fastest Way to access and put values in matrix访问矩阵并将值放入矩阵的最快方法
【发布时间】：2015-08-23 01:21:40
【问题描述】：

我编写了一个程序并一直在对其进行分析。瓶颈如下（如果我使用稀疏矩阵）：

  26534    0.775    0.000   66.657    0.003 compressed.py:638(__setitem__)
  26534    2.240    0.000   59.438    0.002 compressed.py:688(_set_many)
  13318    2.993    0.000   50.024    0.004 compressed.py:742(_insert_many)
3034231   23.087    0.000   38.101    0.000 defmatrix.py:312(__getitem__)

如果我使用密集矩阵，那么这些操作会很慢（必须将矩阵初始化为零）

3034072   24.902    0.000   41.135    0.000 defmatrix.py:312(__getitem__)
  11780   19.586    0.002   19.586    0.002 {numpy.core.multiarray.zeros}

稀疏矩阵版本更快（193s 对 178s）。但是检索和放入行显然是我的瓶颈。我尝试使用take 函数，其中我使用range() 创建一个包含行索引的数组。然而，这比我目前正在做的事情（矩阵 X、X[idx,:] 用于推杆和X.getrow(idx).todense() 用于获取）要糟糕得多（10000 倍）。

有没有更好的方法来访问和替换这些行？我的矩阵非常大（~100000 行 20-500 列）。

编辑：我正在使用 csr_matrix （但对任何类型的稀疏矩阵都开放 - 这个似乎适合抓取行）。下面是一系列测试，只是为了给出一个 MWE。速度约为 3E-4s、7E-3s、.1s。这让我感到惊讶，我想知道是否有比顶级方法更快的方法。如果我删除 todense() 调用，稀疏时间会减半 - 但这似乎仍然很慢。

import numpy as np
from time import time
from scipy.sparse import csr_matrix

def testFancy(mat,idxs):
    for i in idxs:
        x = mat[i,:]

def testTake(mat,idxs):
    for i in idxs:
        x = mat.take(range(i*50,i*50+50))

def testSparse(mat,idxs):
    for i in idxs:
        x = mat.getrow(i).todense()

mat = np.random.rand(50000,50)
idxs = np.random.randint(50000-1, size=1000)

#fancy
t0 = time()
testFancy(mat,idxs)
t1 = time()
print str(t1-t0)

#take
t0 = time()
testTake(mat,idxs)
t1 = time()
print str(t1-t0)

#sparse
mat = csr_matrix((50000,50))
t0 = time()
testSparse(mat,idxs)
t1 = time()
print str(t1-t0)

【问题讨论】：

mcve 会有所帮助。
你能提供一个我们可以复制粘贴的最小工作示例吗？否则很难说。
另请注意，稀疏矩阵有不同的实现。仅从 sparse matrix 一词我们只能猜测底层数据结构。
sparse.csr_matrix 具有良好定义的数据结构 - 压缩稀疏行。
您的 csr_matrix((50000,50)) 有 0 个非零元素。将它与形状的密集阵列进行比较是没有意义的。您需要提供有关此“检索和放入行”位的更多详细信息。还要阅读各种稀疏格式的优缺点（例如比较 csr 和 lil 等）。

标签： python numpy scipy sparse-matrix

【解决方案1】：

只需使用精美的索引，即可获取和设置数组中的行，

import numpy as np
from scipy.sparse import csr_matrix

mat_ds = np.random.rand(50000,50)
mat_csr = csr_matrix((50000,50))
mat_lil = mat_csr.tolil()

idxs = np.random.randint(50000-1, size=1000)

print(mat_sp[idxs, :].todense())
print(mat_csr[idxs, :])

mat_sp[idxs, :] = 2.0 # or any other expression that makes sens here
mat_csr[idxs, :] = 2.0

数组是否稀疏无关紧要。这将比任何带有循环的自定义解决方案都要快（在我的例子中比 testSparse 快 250 倍）。

当然，对稀疏数组的分配应该以保持稀疏性的方式完成，否则它将被重新分配，这对csr_matrix 来说代价高昂。例如上面的示例，因此会产生警告。

编辑：响应 cmets。让我们考虑只查询一行，

In [1]: %timeit -n 1 mat_csr[0, :].todense()
1 loops, best of 3: 101 µs per loop

In [2]: %timeit -n 1 mat_lil[0, :].todense()
1 loops, best of 3: 157 µs per loop

In [3]: %timeit -n 1 mat_ds[0, :]
The slowest run took 8.25 times longer than the fastest. This could mean that an intermediate result is being cached 
1 loops, best of 3: 954 ns per loop

所以是的，查询密集数组比稀疏数组快 10 到 100 倍，结果转换为密集（无论您使用 csr 还是 lil 数组），因为开销更少。对此无能为力，您只需要选择是否需要稀疏数组即可。

【讨论】：

循环只是为了规范计算时间。访问将一次完成一行。
@user671931 我更新了答案以考虑到您的 cmets。

【解决方案2】：

我尝试使用 dok_mat:rix。我的测试结果是 0.03 秒，整个应用程序是 66 秒，其中：

3034124   11.833    0.000   20.293    0.000 defmatrix.py:312(__getitem__)

这似乎是一个不错的折衷方案 - 但我确实想知道它是否会更好。

【讨论】：