Python swig - 从 ctypes 指针创建 swig 包装的实例

Question

我有一个用 swig 包装的类的 C++ 代码。我无法修改代码或包装。 在 python 中，我使用 ctypes 有一个指向所述 C++ 类实例的指针。 如何围绕这个指针创建一个 swig 包装器？

我知道 swig 对象拥有一个“this”属性，该属性在内部指向被包装的对象，但我找不到将其设置为手头指针的方法。

感谢您的帮助！

Answer 1

您可以执行此操作，但工作量很大，而且解决使 ctypes 或 SWIG 接口完整和可用的潜在问题比强制互换要简单得多。 （还值得注意的是，从 SWIG 对象创建 ctypes 对象比做您想做的事情更容易，即从 ctypes 对象创建 SWIG 对象。

为了说明这一点，我创建了以下头文件，我们将使用 SWIG 进行包装：

struct Foo {
  double d;
  char msg[20];
};

然后我用下面的接口包裹它：

%module test

%{
#include "test.h"
%}

// Prove I'm not cheating here - we can't even instantiate this class
%nodefaultctor;

%include "test.h"

我还添加了一个测试函数供我们从 ctypes 调用，它不是 SWIG 包装的：

#include "test.h"

// This function returns a Foo, but is only accessible to ctypes
extern "C" Foo *fun1() {
    static Foo f = { 1.234, "Hello" };
    return &f;
}

您对 SWIG 包装类的 this 属性的猜测是一个很好的起点，但它并不像更改它那么简单 - 您插入的对象的类型必须与 SWIG 的预期相匹配。它不仅仅是一个表示为 int 的指针：

repr(test.Foo().this) # You'll need to drop the nodefaultctor directive to see this
"<Swig Object of type 'Foo *' at 0x7f621197d1e0>"

如果我们检查 SWIG 生成的源代码，我们可以看到有一个函数接受一个指针、一些类型信息并为我们创建这些对象：

SWIGRUNTIME PyObject *
SwigPyObject_New(void *ptr, swig_type_info *ty, int own);

让我们忽略SWIGRUNTIME 现在默认定义为static 的事实，为了让我们开始试验这个运行时，我们可以将它重新定义为extern。稍后我们将研究当我们无法做到这一点时的解决方法。

因此，我们的目标是获取“仅 ctypes”函数的输出，并通过更多 ctypes 调用将其传递给 SwigPyObject_New，以创建我们可以与 SWIG 模块的 this 属性交换的东西。

为了调用它，我们通常会调用SWIG_TypeQuery 来查找要使用的正确swig_type_info。然而，这实际上是一个宏，它扩展为传递一些始终为静态的静态变量。因此，我们将使用这个函数：

SWIGRUNTIME swig_type_info *
SWIG_Python_TypeQuery(const char *type)

（具有相同的 SWIGRUNTIME 附带条件）。

此时，我们已经获得了足够的资源，可以交换代理对象的 this 属性，如果我们能够构造捐助者，就可以完成。 （虽然那会泄漏）。我们有两种方法可以让它变得更好：

1. 猴子补丁__init__ 在test.Foo 内工作。如果您在不想重新编译的 SWIG 界面中确实有 %nodefaultctor，这是最好的：

   def patched_init(self, ptr):
       self.this = ptr
   test.Foo.__init__ = patched_init
   

2. 创建一个只有__init__ 的新类，该类在修改__class__ 属性之前设置this 属性并改用它：

   class FooCtypesSwigInterop(object):
       def __init__(self, ptr):
           self.this = ptr
           self.__class__ = test.Foo
   

   当您不想破坏 test.Foo 现有的 __init__ 实现时，此选项最有意义。

话虽如此，我们现在可以通过以下方式实现我们的初始目标：

import ctypes
import test

# This *must* happen after the import of the real SWIG module
# 0x4 is RTLD_NOLOAD which ensures that we get the same handle as the Python 
# import did, even if it was loaded with RTLD_LOCAL as Python is prone to.
swig_module = ctypes.PyDLL('./_test.so',ctypes.RTLD_LOCAL|0x4)
# Note that we used PyDLL instead of CDLL because we need to retain the GIL

# Setup SWIG_Python_TypeQuery to have the right argument/return types
# (Using void* as a substitute for swig_type_info*)
SWIG_Python_TypeQuery = swig_module.SWIG_Python_TypeQuery
SWIG_Python_TypeQuery.argtypes = [ctypes.c_char_p]
SWIG_Python_TypeQuery.restype = ctypes.c_void_p

# Likewise SwigPyObject_New, using ctypes.py_object though for return
SwigPyObject_New = swig_module.SwigPyObject_New
SwigPyObject_New.argtypes = [ctypes.c_void_p, ctypes.c_void_p, ctypes.c_int]
SwigPyObject_New.restype = ctypes.py_object

# Actually do the type query for the type our ctypes function returns:
SWIGTYPE_p_Foo = SWIG_Python_TypeQuery('Foo*')
print(hex(SWIGTYPE_p_Foo))

# Now the ctypes function itself that returns the type we want SWIG managed
fun1 = swig_module.fun1
fun1.argtypes = []
fun1.restype = ctypes.c_void_p

# Make the actual ctypes call we care about here
result = fun1()
print(hex(result))

# And then create a SwigPyObject for it from the void* return type
# Note that 0 means not owned by SWIG
sresult = SwigPyObject_New(result, SWIGTYPE_p_Foo, 0)
print(repr(sresult))

# This is how we jimmy it back into the this attribute of a SWIG type
class FooCtypesSwigInterop(object):
    def __init__(self, ptr):
        self.this = ptr
        self.__class__ = test.Foo

c = FooCtypesSwigInterop(sresult)

# Finally a usable SWIG object from the ctypes call 
print(c.msg)

所有这些都可以编译并使用：

swig3.0 -python -c++ -Wall test.i
g++ -shared -o _test.so test_wrap.cxx fun1.cc -Wall -Wextra -fPIC -I/usr/include/python2.7/ -std=c++11 -DSWIGRUNTIME=extern
LD_LIBRARY_PATH=.  python run.py 

并给我们：

0x7fb6eccf29e0
0x7fb6eccf2640
<Swig Object of type 'Foo *' at 0x7fb6ee436720>
Hello

要解决将SWIGRUNTIME 定义为static 的问题，您需要再执行一步。使用调试符号或对您拥有但无法修改的 SWIG 二进制模块进行反向工程以找到我们需要的两个函数的地址，这些函数相对于导出的符号未导出。然后，您可以使用它们来构造 ctypes 函数指针，而不是按名称查找它们。当然，购买/查找/重写 SWIG 模块会更容易，或者可能将缺少的功能添加到 ctypes 界面。

（最后值得注意的是，尽管如果 SWIG 使用 -builtin 运行，它似乎不适用于此处，但需要进行一些重大更改才能使此答案起作用）。