使用 Coo-matrix 创建邻接矩阵的内存问题

Question

您好，我正在尝试从 CSV 生成一个维度约为 24,000 的邻接矩阵，其中两列显示基因对的组合，一列 1 表示当前的交互......我的目标是拥有它对于不在两列中的组合，为正方形并填充零

我正在使用以下 Python 脚本

import numpy as np
from scipy.sparse import coo_matrix

l, c, v = np.loadtxt("biogrid2.csv", dtype=(int), skiprows=0, delimiter=",").T[:3, :]
m =coo_matrix((l, (v-1, c-1)), shape=(v.max(), c.max()))

m.toarray()

并且运行正常，直到遇到以下错误似乎

File "/home/charlie/anaconda3/lib/python3.6/site-packages/scipy/sparse/base.py", line 1184, in _process_toarray_args
    return np.zeros(self.shape, dtype=self.dtype, order=order)

MemoryError

关于如何绕过 Scipy 中的内存限制的任何想法

谢谢

Answer 1

您想要的很可能不是m.toarray，而是m.tocsr()。 csr 矩阵可以在本机上做简单的线性代数（如.dot() 和矩阵幂），例如这个工作：

m.tocsr()
random_walk_2 = m.dot(m)
random_walk_n = m ** n  
# see https://stackoverflow.com/questions/28702416/matrix-power-for-sparse-matrix-in-python

协方差也应该是可以实现的，但是如果不看你当前的流程是什么，我不确定具体的实现是什么。

编辑：要将输出转换回更简单的格式以读取到csv，您可以通过返回coo 和.tocoo() 来跟进

m.tocoo()
out = np.c_[m.data, m.row, m.col].T
np.savetxt("foo.csv", out, delimiter=",") 
# see https://stackoverflow.com/questions/6081008/dump-a-numpy-array-into-a-csv-file

Answer 2

函数toarray() 会将您的 24000*24000 稀疏矩阵 (coo_matrix) 转换为 24000*24000 的密集数组（假设您正在加载 int），这至少需要内存

24000*24000*4 = 大约 2,15Gb。

为避免使用太多内存，您应该避免转换为密集矩阵（使用toarray()）并使用稀疏矩阵进行操作

如果您需要矩阵平方，您可以执行m*m 或m.multiply(m)，您将得到一个稀疏矩阵。

要保存矩阵，您有多种选择。

最简单的一种是 NPZ，见 https://docs.scipy.org/doc/scipy-0.19.0/reference/generated/scipy.sparse.save_npz.html 或 Save / load scipy sparse csr_matrix in portable data format

如果你想得到你的结果，因为你的初始 CSV 文件 coo_matrix 有属性

矩阵的数据COO格式数据数组

row COO格式矩阵的行索引数组

col COO格式矩阵的列索引数组

见https://docs.scipy.org/doc/scipy/reference/generated/scipy.sparse.coo_matrix.html

可用于创建 CSV 文件。