如何在 Python 中模仿节省空间的 dict 版本？

Question

我正在研究一个字典结构，其中我有一个文档字典，每个文档都有一个单词字典（其中每个键是 word_id（整数），值是计数），这样：

document_dict = { "doc1": {1:2, 2:10, 10:2, 100: 1}, "doc2": {10:2, 20:10, 30:2, 41: 19},...}

请注意，内部字典非常稀疏，所以即使我有 250K 字，我也不希望每个文档有超过 1K 的键。

在每次迭代中，我需要总结一个单词的字典：计数到一个文档，例如我需要将 {1:2, 2:10, 10:2, 120: 1} 的新字典合并到 "doc1": {1:2, 2:10, 10:2, 100: 1}。

现在，我的实现运行得非常快，但是 2 小时后内存不足（我使用的是 40GB 的服务器）。

我总结关键的方式是这样的：

假设 new_dict 是我要添加到 doc1 的新单词：count 对，例如：

new_dict = {1:2, 2:10, 10:2, 120: 1}
doc1 = {1:2, 2:10, 10:2, 100: 1}

for item in new_dict:
      doc1[item] = doc1.get(item, 0) + new_dict[item]

然后，由于我的字典在很短的时间内变得非常大，所以用字典运行代码根本不可能，我尝试将字典实现为 2 个列表的列表：例如doc1 = [[],[]] 其中第一个列表保存键，第二个键保存值。

现在当我想联合2个这样的结构时，我首先尝试获取doc1中new_dict的每个项目的索引。如果我成功获取了索引，则意味着该键已经在 doc1 中，因此我可以更新相应的值。否则，它还没有在 doc1 中，所以我将新的键和值追加（）到列表的末尾。但是这种方法运行速度非常慢（在 dict 版本中，我能够在 2 小时内处理多达 600K 文档，现在我只能在 15 小时内处理 250K 文档）。

所以我的问题是：如果我想使用字典结构 (key, val) 对，我需要在每次迭代中合并 2 个字典的键并求和它们的值，有没有办法更有效地实现这个空间？

Answer 1

它不一定更节省空间，但我建议使用shelve 模块切换到基于磁盘的字典，这样您就不必一次将整个字典放在内存中。

它们非常易于使用，因为它们支持熟悉的字典界面，如下所示：

import shelve

document_dict = shelve.open('document_dict', writeback=True)

document_dict.update({"doc1": {1:2, 2:10, 10:2, 100: 1},
                      "doc2": {10:2, 20:10, 30:2, 41: 19},
                      "doc3": {1:2, 2:10, 10:2, 100: 1},})

new_dict = {1:2, 2:10, 10:2, 120: 1}
doc = document_dict.get("doc3", {})  # get current value, if any

for item in new_dict:
    doc[item] = doc.get(item, 0) + new_dict[item]   # update version in memory

document_dict["doc3"] = doc  # write modified (or new) entry to disk
document_dict.sync()  #  clear cache

print document_dict

document_dict.close()

输出：

{'doc2': {41: 19, 10: 2, 20: 10, 30: 2},
 'doc3': {120: 1, 1: 4, 2: 20, 100: 1, 10: 4},
 'doc1': {1: 2, 2: 10, 100: 1, 10: 2}}