如何处理尚未准备好使用的调用 __setitem__ 的 `pickle.load`？

Question

我试图实现一个（原型，而不是生产）版本的持久字典，它使用磁盘上的 pickle 作为持久存储。但是，pickle.load 出于自己的目的调用__setitem__，并且该方法（当然）被覆盖以确保对字典的更改传播回持久存储——因此它调用pickle.dump。当然，调用 pickle.dump 是不行的，因为每个项目都是在 unpickling 期间设置的。

有没有办法解决这个问题，除了蛮力（如下）？我尝试阅读Pickling Class Instances 以寻找使用特殊方法的解决方案，但没有找到。

下面的代码监控unpickling是否正在进行，在这种情况下跳过pickle.dump；虽然它工作正常，但感觉很hacky。

import os, pickle

class PersistentDict(dict):
    def __new__(cls, *args, **kwargs):
        if not args: # when unpickling
            obj = dict.__new__(cls)
            obj.uninitialized = True
            return obj
        path, *args = args
        if os.path.exists(path):
            obj = pickle.load(open(path, 'rb'))
            del obj.uninitialized
            return obj
        else:
            obj = dict.__new__(cls, *args, **kwargs)
            obj.path = path
            obj.dump()
            return obj

    def __init__(self, *args, **kwargs):
        pass

    def __setitem__(self, key, value):
        super().__setitem__(key, value)
        self.dump()

    def __delitem__(self, key):
        super().__delitem__(key)
        self.dump()

    def dump(self):
        if not hasattr(self, 'uninitialized'):
            pickle.dump(self, open(self.path, 'wb'))

    def clear(self):
        os.remove(self.path)

pd = PersistentDict('abc')
assert pd == {}
pd[1] = 2
assert pd == {1: 2}
pd[2] = 4
assert pd == {1: 2, 2: 4}
del pd[1]
assert pd == {2: 4}
xd = PersistentDict('abc')
assert xd == {2: 4}
xd[3] = 6
assert xd == {2: 4, 3: 6}
yd = PersistentDict('abc')
assert yd == {2: 4, 3: 6}
yd.clear()

Answer 1

在尝试使用花哨的字典实现时，不建议直接从 dict 继承。一方面，Python 的 ABI 在 dict 类上采用了一些快捷方式，这些快捷方式最终可能会跳过对某些 dunder 方法的一些调用——而且，正如你在 pikcling 和 unpickling 时所看到的那样——字典和它的直接子类将以不同于普通的方式处理对象（它们的__dict__ 属性被腌制，而不是它们的键设置为__setitem__。

所以，一方面，从继承 collections.UserDict 开始 - 这是 dict 的不同实现，它确保所有数据访问都是通过对 dunder 特殊方法的适当 Python 端调用完成的。您甚至可能希望将其实现为 collections.abc.MutableMapping 的实现 - 这确保您必须在代码中实现最少数量的方法才能让您的类像真正的字典一样工作。

第二件事：Pickle 协议默认会做“它的事”——在映射类中是（我没有检查，但显然是），酸洗 (key, value) 对并为每个调用 __setitem__那些在 unpicling 上的。但是酸洗行为是完全可定制的——正如你所看到的on the documentation——你可以简单地在你的类上实现显式__getstate__和__setstate__方法来完全控制酸洗/解酸代码。

使用 MutableMapping 并将字典内容存储在关联的内部字典中的示例：

from collections.abc import MutableMapping

class SpecialDict(MutableMapping):
    def __init__(self, path, **kwargs):
        self.path = path
        self.content = dict(**kwargs)
        self.dump()
    def __getitem__(self, key):
        return self.content[key]

    def __setitem__(self, key, value):
        self.content[key] = value
        self.dump()

    def __delitem__(self, key):
        del self.content[key]
        self.dump()

    def __iter__(self):
        return iter(self.content)

    def __len__(self):
        return len(self.content)

    def dump(self):
        ...

    def __getstate__(self):
        return (self.path, self.content)

    def __setstate__(self, state):
        self.path = state[0]
        self.content = state[1]

顺便说一句，使用 MutableMapping 超类的一大优势在于，如果您正确实现in the documentation 中描述的方法，您的代码就可以投入生产了（因此，无需担心错过精美的极端案例） .

Answer 2

Raymond Hettinger 在recipe 中采用的策略是：

pickle.dump(dict(self), ...)

在__init__ 内部（因此您不需要实现__new__）

self.update(pickle.load(...))