如何在python中有效地制作大稀疏矩阵？

Question

1。 我尝试制作一个形状为 numpy 的数组：(6962341, 268148)，输入：np.uint8

2。 我的数据包括 [x1,x2,x3,x4], [x2,x1], [x4,x5,x3]...

3。 我想分配 array[x1,x2] += 1, array[x1,x3] += 1, array[x1,x4] += 1, array[x2,x3] += 1, ...

4。 所以我尝试了以下结构的功能。

---

import numpy as np
from itertools import combinations

base_array = np.zeros((row_size, col_size), dtype=np.uint8))

for each_list in data:
  for (x,y) in list(combinations(each_list,2)):
    if x>y:
      base_array[y,x] += 1
    else:
      base_array[x,y] += 1

---

它基本上计算矩阵的上三角形，我将使用上三角形值。您也可以认为这类似于为共现矩阵制作基矩阵 A。但是这个功能太慢了，我认为可以做得更快。 我该怎么办？

Answer 1

假设您的数据是整数（因为它们代表行和列），或者您可以将数据x1, x2, ... 散列成1, 2, ... 整数，这是一个快速的解决方案：

#list of pairwise combinations in your data
comb_list = []
for each_list in data:
  comb_list += list(combinations(each_list,2))

#convert combination int to index (numpy is 0 based indexing)
comb_list = np.array(comb_list) - 1

#make array with flat indices
flat = np.ravel_multi_index((comb_list[:,0],comb_list[:,1]),(row_size,col_size))

#count number of duplicates for each index using np.bincount
base_array = np.bincount(flat,None,row_size*col_size).reshape((row_size,col_size)).astype(np.uint8)

样本数据：

[[1, 2, 3, 4], [2, 1], [4, 5, 3, 4]]

对应输出：

[[0 1 1 1 0]
 [1 0 1 1 0]
 [0 0 0 2 0]
 [0 0 1 1 1]
 [0 0 1 1 0]]

编辑：对应cmets中的解释：

data=[[1, 2, 3, 4], [2, 1], [4, 5, 3, 4]]
base_array = np.zeros((len(data), np.max(np.amax(data))), dtype=np.uint8)

for i, each_list in enumerate(data):
  for j in each_list:
    base_array[i, j-1] = 1

输出：

[[1 1 1 1 0]
 [1 1 0 0 0]
 [0 0 1 1 1]]