使用 mmap 遍历列表 - Python

Question

是否可以使用 mmap 文件遍历列表？ 关键是列表太大（超过 3 000 000 项）。我需要在启动程序时快速访问此列表，因此启动程序后我无法将其加载到内存中，因为它需要几秒钟。

with open('list','rb') as f:
    mmapList = mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ) # As far as I'm concerned, now I have the list mapped in a virtual memory.

现在，我想遍历这个列表。

for a in mmapList 不起作用。

编辑：我知道的唯一方法是将列表项保存为 txt 文件中的行，然后使用 readline 但我很好奇是否有更好更快的方法。

Answer 1

您不需要使用 mmap 来遍历 cPickled 列表。您需要做的不是腌制整个列表，而是腌制并转储每个元素，然后从文件中一个一个地读取它们（可以使用生成器）。

代码：

import pickle

def unpickle_iter(f):
  while True:
    try:
      obj = pickle.load(f)
    except EOFError:
      break
    yield obj

def save_list(list, path):
  with open(path, 'w') as f:
    for i in list:
        pickle.dump(i, f)

def load_list(path):
  with open(path, 'r') as f:
     # here is your nice "for a in mmaplist" equivalent:
     for obj in unpickle_iter(f):
        print 'Loaded object:', obj

save_list([1,2,'hello world!', dict()], 'test-pickle.dat')
load_list('test-pickle.dat')

输出：

Loaded object: 1
Loaded object: 2
Loaded object: hello world!
Loaded object: {}