Pickling Cython 修饰函数导致 PicklingError

Question

我有以下代码：

def decorator(func):

    @functools.wraps(func)
    def other_func():
        print('other func')

    return other_func

@decorator
def func():
    pass

如果我尝试腌制func，一切正常。但是，如果我将模块编译为 Cython 扩展，它将失败。 这是错误：

>>>> pickle.dumps(module.func)

PicklingError: Can't pickle <cyfunction decorator.<locals>.other_func at 0x102a45a58>: attribute lookup other_func on module failed

如果我使用dill 而不是pickle，也会发生同样的情况。

你知道怎么解决吗？

Answer 1

我不认为你可以在这里做任何事情。它看起来像 Cython 中的一个可能的错误。但是，Cython 做我不知道的事情可能有充分的理由。

问题出现是因为 Cython 函数在 Python 领域中作为内置函数公开（例如map、all 等）。这些函数的名称属性不能更改。但是，Cython 试图使其函数更像纯 Python 函数，因此提供了修改它们的几个属性的能力。然而，Cython 函数也实现了__reduce__，它自定义了对象如何被pickle 序列化。看起来这个函数确实认为函数对象的名称可以更改，因此忽略这些值并使用正在包装的内部 PyCFunction 结构的名称 (github blob)。

您能做的最好的事情就是提交错误报告。您可能能够创建一个瘦包装器，以便使您的函数能够被序列化，但这会在调用函数时增加开销。

定制泡菜

您可以使用 Pickler 和 Unpickler 的 persistent_id 功能覆盖 Cython 提供的自定义实现。以下是如何为特定类型/对象自定义酸洗。它是使用纯 python 函数完成的，但您可以轻松更改它以处理 Cython 函数。

import pickle
from importlib import import_module
from io import BytesIO

# example using pure python
class NoPickle:
    def __init__(self, name):
        # emulating a function set of attributes needed to pickle
        self.__module__ = __name__
        self.__qualname__ = name

    def __reduce__(self):
        # cannot pickle this object
        raise Exception


my_object = NoPickle('my_object')

# pickle.dumps(obj) # error!

# use persistent_id/load to help dump/load cython functions

class CustomPickler(pickle.Pickler):
    def persistent_id(self, obj):
        if isinstance(obj, NoPickle):
            # replace with NoPickle with type(module.func) to get the correct type
            # alternatively you might want to include a simple cython function 
            # in the same module to make it easier to get the write type.
            return "CythonFunc" , obj.__module__, obj.__qualname__
        else:
            # else return None to pickle the object as normal
            return None

class CustomUnpickler(pickle.Unpickler):
    def persistent_load(self, pid):
        if pid[0] == "CythonFunc":
            _, mod_name, func_name = pid
            return getattr(import_module(mod_name), func_name)
        else:
            raise pickle.UnpicklingError('unsupported pid')

bytes_ = BytesIO()
CustomPickler(bytes_).dump(my_object)

bytes_.seek(0)
obj = CustomUnpickler(bytes_).load()

assert obj is my_object