在python中存储大量布尔数据

Question

我需要存储稀疏矩阵数据。 数据大小为10^6 10^4 列。 在每一列中，我存储了一个 0 的向量，除了 true 的少数值。

然后我需要对每个矩阵中的列求和，并将每一行乘以一个标量。 我尝试了字典，但是当我需要求和和乘法时它们会失败。

你会用什么？

附言。 numpy.zeros 太小了

Answer 1

两个字典怎么样？假设这是矩阵（x 代表True）：

   0  1  2  3  4  5  6  7
0  x     x        x 
1     x
2                       x
3              x
4
5
6        x        x
7

你只需要存储

rows = {0: [0, 2, 5], 1: [1], 2: [7], 3: [4], 6: [2, 5]}

你可以很容易地把它变成

columns = {0: [0], 1: [1], 2: [0, 6], 4: [3], 5: [0, 6], 7: [2]}

使用类似的东西

columns = {}
for row in rows:
    for column in rows[row]:
        columns.setdefault(column, []).append(row)

然后对列 (sum(1 for x in column[2])) 或行求和，然后将结果与您想要的任何值相乘。

Answer 2

正如其他人提到的，你应该看看scipy.sparse：

http://docs.scipy.org/doc/scipy/reference/sparse.html

有许多不同的格式针对各种稀疏运算进行了优化，包括标量乘法和求和。

例如：

import scipy.sparse
import numpy as np

rows = np.array([1,100,1000])
cols = np.array([100,99,1474])
vals = np.ones_like(rows)

A = scipy.sparse.coo_matrix((vals,(rows,cols)),shape=(int(1E6),int(1E6)),dtype=np.bool)

然后乘以一个标量并取和：

B = 3*A
B.sum() # 9

Answer 3

根据您的需要，实际上有数百种方法可以做到这一点。 Wikipedia 上的 Sparse Matrix 条目是一个很好的开始，可以找到一种专门适用于您需求的方法。

作为一个非常简单的示例，您可以像这样使用Dictionary of Keys 类：

class SparseDOK(dict):

    def __init__(self):
        pass

    def __setitem__(self,key,value):
        if value in[0,0.0,False,None]:
            dict.__setitem__(self,key,False)
            dict.__delitem__(self,key)
        else:
            dict.__setitem__(self,key,True)

    def __getitem__(self, key):    
        try: 
            return dict.__getitem__(self, key)

        except KeyError: 
            return False


>>> dok=SparseDOK()
>>> dok[10,20]=55
>>> print dok
{(10, 20): True}
>>> print dok[10,20]
True
>>> print dok[55,300]      
False
>>> dok[10,20]=False
>>> print dok[10,20]
False

任意“矩阵”中的每个条目都假定为 False，除非特别设置为 True。您需要添加错误检查，但这将非常紧凑和快速。

构造Key Dictionary的优点是数据结构的构造非常高效。您只需将原始数据浏览一次，即可轻松添加或删除数据。缺点是一旦构建了矩阵，它的交互处理就会减少。

由于字典键是元组，因此按行或列添加索引很简单。由于整个矩阵需要在构造之后进行处理才能执行此操作，因此我们可以构造一个包含任何所需总和或乘积的 dict，然后引用已处理数据的该 dict。

>>> dok[10,20]=True
>>> dok[10,2000]=True
>>> dok[11,2000]=True
>>> dok[35000,2000]=True
>>> dok[10,35000]=True
>>> print dok
{(11, 2000): True, (10, 2000): True, (35000, 2000): True, (10, 20): True, (10, 35000): True}
cols={}
for tup in dok.keys():
    if tup[1] not in cols:
        cols[tup[1]]=1
    else:
        cols[tup[1]]+=1    

>>> print cols
{2000: 3, 35000: 1, 20: 1}

现在您可以参考 cols 中的 col 键来获取 col 行的总和。添加产品等很简单。请记住，如果原始 DOK 被编辑或更改，您需要重新计算总和/产品。如果您预计 DOK 在首次创建后会经常更改，则可以保留一个运行总计。

如果您的需求更复杂，请考虑使用SciPy 或Pysparse。如您所见，SciPy 中有 7 种不同的稀疏矩阵格式。不要重新发明别人已经做得更好的东西......