将 C 数组绑定到 Numpy 数组而不复制

Question

我正在编写一个 Python 类，它将包装一个包含 C 结构的 C 模块。我正在使用 Cython 语言（Python 和 C 的超集语言）。 C 结构在构造函数中是 malloc 的，并且包含一个我想在 Python 中使用的数组。该数组将在 Python 中表示为 NumPy 数组，但我不想将值复制到其中。我想将 NumPy 数组直接链接到 malloc 的内存。对于这个任务，我使用NumPy Array API，特别是这个函数：

PyObject*PyArray_SimpleNewFromData(int nd, npy_intp* dims, int typenum, void* data)

我设法在 Cython 中使用此代码将 NumPy 数组绑定到 C 结构的数组，只要 NumPy 数组和 MultimediaParams 对象具有相同的生命周期，它就可以正常工作：

cdef class MultimediaParams:
    def __init__(self, **kwargs):
        self._mm_np = < mm_np *> malloc(sizeof(mm_np))
        #some code...

    def as_ndarray(self): #TODO: what if self deallocated but numpy array still exists(segfault?)
        cdef numpy.npy_intp shape[1]
        cdef int arr_size = sizeof(self._mm_np[0].n2) / sizeof(self._mm_np[0].n2[0])
        shape[0] = < numpy.npy_intp > arr_size
        cdef numpy.ndarray ndarray
        ndarray = numpy.PyArray_SimpleNewFromData(1, shape, numpy.NPY_DOUBLE, self._mm_np[0].n2)

        return ndarray

    def __dealloc__(self):
        free(self._mm_np)

如您所见，该类有其 __dealloc__ 方法，该方法将处理在 C 中分配的内存，并在没有对 MultimediaParams 实例的引用时释放它。

在这种绑定中，NumPy 不拥有数组的内存。

问题：当MultimediaParams对象被释放，数组的内存被释放时，NumPy对象仍然指向刚刚释放的内存。当 NumPy 对象尝试访问/修改已释放的内存时，这将导致段错误。

只要有一个 NumPy 对象在使用其内存，我如何确保 MultimediaParams 对象不会被释放？

据我了解，我需要做的就是让 NumPy 对象引用一个 MultimediaParams 实例，从该实例中获取内存指向。 我尝试使用ndarray.base = <PyObject*>self，以便 NumPy 知道它的基对象，这应该添加对 MultimediaParams 实例的另一个引用，并且只要 NumPy 数组还活着，它就不会被释放。这一行导致我的测试失败，因为 NumPy 数组的内容变成了垃圾。

澄清：NumPy 数组不拥有 C 数组内存的所有权，我不希望它拥有。我希望 MultimediaParams 负责释放C 结构（包含数组数据），但只要 NumPy 对象还活着，就不要这样做。

有什么建议吗？

Answer 1

正如@J.F.Sebastian 的评论所指出的那样，问题很可能是当您正确地将指向您的MultimediaParams 实例的指针分配给NumPy 数组的base 引用时，您实际上并没有增加它的引用计数，因为赋值是在 C 中进行的，而不是在 Python 中。这可能会导致 MultimediaParams 对象的过早垃圾收集，其内存被重用并导致您在 ndarray 中遇到垃圾数据。

使用宏 Py_INCREF 手动增加 MultimediaParams 对象的引用计数应该会产生所需的行为。