将 deafultdict 转换为 numpy 矩阵或 2D 矩阵的 CSV

Question

我有一个defaultdict，它存储数据集中每 2 个单词的数据共现。我这样做是为了获得稀疏表示，因为数据集中并非每一对都存在，因此可以节省一些内存空间。

现在有一些标准函数可以将此defaultdict 转换为numpy 矩阵，如果可能的话，可以转换为一些稀疏表示。我知道如何将 dict 转换为 numpy 数组。但我正在寻找一种更有效的方式将 defaultdict 转换为矩阵。

如果不可能，是否有任何标准函数可以将 defaultdict 转换为 CSV，以便我可以使用 numpy 加载 csv。

编辑 - 我找到了使用 pandas 的解决方法。我将 defaultdict 转换为 DataFrame，然后将 DF 转换为 numpy 矩阵。还有比这更好的方法吗？

但遗憾的是，这无助于节省内存。

Answer 1

假设您的数据如下所示：

data = defaultdict(int)
data[0,0] = 10
data[1,1] = 100

你想使用scipy.sparse.coo_matrix:

items = list(data.items())  # list only needed for python3
vs = [v for (i,j), v in items]
ii = [i for (i,j), v in items]
j j= [j for (i,j), v in items]
matrix = scipy.sparse.coo_matrix((vs, (ii, jj))

这给出了稍微奇怪的输出：

>>> print matrix
  (0, 0)    10
  (1, 1)    100

但是你可以把这个对象当作一个密集矩阵来处理