具有重载运算符的自定义 C 结构上的 Numpy 矩阵运算

Question

我正在处理一个需要处理自定义 C 结构矩阵的项目，其中一些 C 函数在这些结构上实现操作。

到目前为止，我们的工作如下：

• 使用 ctypes 围绕 C 结构构建 python 包装类
• 覆盖 __and__ 和 __xor__ 以调用适当的底层 C 函数的对象
• 构建包含这些类实例的 numpy 数组

现在我们面临一些性能问题，我觉得这不是处理这个问题的正确方法，因为我们有一个 C 库在数据类型上实现本机昂贵的操作，然后 numpy 在矩阵上实现本机昂贵的操作，但是（我猜）在这种配置中，每个操作都将由 python 包装类代理。

有没有办法用 numpy 实现这一点，使操作完全原生？我读过有用于将 ctypes 类型包装到 numpy 数组中的实用程序（seehere），但是运算符重载呢？

我们不一定要使用 ctypes，但我们希望仍然能够使用 python（我相信它在代码可维护性方面比 C 有很大的优势......）

有谁知道这是否可行，以及如何实现？您会建议其他不同的解决方案吗？

非常感谢！

Answer 1

详细说明上述评论（结构数组与数组结构）：

import numpy as np
#create an array of structs
array_of_structs = np.zeros((3,3), dtype=[('a', np.float64), ('b',np.int32)])
#we may as well think of it as a struct of arrays
struct_of_arrays = array_of_structs['a'], array_of_structs['b']
#this should print 8
print array_of_structs['b'].ctypes.data - array_of_structs['a'].ctypes.data

请注意，使用“数组结构”方法需要完全不同的编码风格。也就是说，我们在很大程度上必须放弃组织代码的 OOP 方式。自然地，您仍然可以选择将与特定对象相关的所有操作放在单个命名空间中，但这样的数据布局鼓励更多的矢量化或 numpythonic 编码风格。与其在函数之间传递单个对象，不如将整个对象集合或矩阵作为我们操作的最小原子结构。

当然，同样的数据也可以在需要的地方以 OOP 方式访问。但就 numpy 而言，这对你没有多大好处。请注意，出于性能原因，通常最好将对象的每个属性维护为单独的连续数组，因为将所有属性连续放置对于仅作用于对象属性子集的操作来说缓存效率低。