如何在 Python 中的进程之间共享一个非常大的字典

Question

我已经阅读了这篇帖子，Python multiprocessing: sharing a large read-only object between processes?，但仍不确定下一步如何进行。

这是我的问题：

我正在使用 multiprocessing 分析数百万个字符串的数组，并且每个字符串都需要与一个包含大约 200 万个（可能更多）键的大字典进行检查。它的值是名为Bloomfilter 的自定义 Python 类的对象（因此它们不仅仅是简单的 int 或 float 或数组），它们的大小从几个字节到 1.5 Gb 不等。对每个字符串的分析，基本上就是检查一个字符串是否在字典中一定数量的bloomfilters中。它取决于字符串本身来决定哪些bloomfilters 是相关的。字典是一个 30G sqlite3 db 的转换。动机是将整个 sqlite3 db 加载到内存中以加快处理速度，但我还没有找到有效共享 dict 的方法。我的系统中有大约 100G 内存。

这是我尝试过的：

每个字符串的分析都受 CPU 限制，因此我选择了多处理而不是多线程。关键是如何在不复制的情况下在进程之间共享大字典。 multiprocess.Value 和 multiprocessing.Array 不能处理像字典这样的复杂对象。我试过multiprocessing.Manager()，但由于字典太大，我得到IOError: bad message length 错误。我也尝试过在 localhost 上使用像 Redis 这样的内存数据库，但是用于在获取后构造 Bloomfilter 的 bitarray 太大而无法容纳，这让我认为在进程之间传递大消息也太贵（是吗？）

我的问题：

在不同进程（或线程，如果有办法绕过 GIL）之间共享此类字典的正确方法是什么？如果我需要使用数据库，我应该使用哪一个？我需要非常快速的读取，并且数据库应该能够存储非常大的值。 （虽然我不认为数据库会起作用，因为传递非常大的值是行不通的，对吧？如果我错了，请纠正我）

Answer 1

事实证明@Max 和@Dunes 都是正确的，但我不需要直接使用 os.fork() 或全局变量。部分伪代码如下所示，只要big_dict在worker中没有被修改，内存中似乎只有一份。但是，我不确定这种写时复制功能在类 unix 的操作系统世界中是否通用。我运行代码的操作系统是CentOS release 5.10 (Final)。

from multiprocessing import Process, Lock

def worker(pid, big_dict, lock):
    # big_dict MUST NOT be modified in the worker because of copy-on-write
    pass
    # do some heavy work

def main():
    big_dict = init_a_very_big_dict()

    NUM_CPUS = 24
    lock = Lock()
    procs = []
    for pid in range(NUM_CPUS):
        proc = Process(target=worker, args=(pid, big_dict, lock))
        proc.daemon = True
        procs.append(proc)
        proc.start()

    for proc in procs:
        proc.join()