Cython 函数指针和异常

Question

我正在尝试使用 cython 包装现有的 C 库。该库使用我想重定向的回调来执行 python 代码。 假设标题中的相应行如下：

typedef RETCODE (*FUNC_EVAL)(int a, int b, void* func_data);

返回代码用于指示错误。 API 到 创建对应的C结构体如下：

RETCODE func_create(Func** fstar,
                    FUNC_EVAL func_eval,
                    void* func_data);

我添加了一个 cython 头文件/实现文件。标题 包含 typedef：

  ctypedef RETCODE (*FUNC_EVAL)(int a,
                                int b, 
                                void* func_data)

实现包含一个包装函数：

cdef RETCODE func_eval(int a,
                       int b,
                       void* func_data):
  (<object> func_data).func_eval(a, b)
  return OKAY;

我可以将此函数传递给func_create cython 包装器就好了。

但是，我想确保 python 代码中的异常是 通过返回 ERROR 值向 C 库报告为 返回码。所以我添加了以下内容：

cdef RETCODE func_eval(int a,
                       int b,
                       void* func_data) except ERROR:
  (<object> func_data).func_eval(a, b)
  return OKAY;

但是，现在 cython 终止并显示以下错误消息：

  Cannot assign type 'RETCODE (*)(int, int, void *) except ERROR' to 'FUNC_EVAL'

我是否使用了except ... 语句错误？

Answer 1

那是 Cython 试图防止你犯微妙的错误。

首先，让我们回顾一下 CPython 中错误处理的工作原理：当发生错误/异常时，会设置一个全局错误状态（每个线程）。该状态包含异常类型、回溯等信息。惯例是，除了设置全局错误状态外，函数还通过特殊的返回值发出失败信号，因此不必在每次函数调用后检查错误状态。

一旦在函数中检测到故障，必须发生以下情况：

• 如果这个函数“知道”如何处理这个错误（例如“except”子句），那么它必须在继续之前清除全局错误状态。
• 如果此函数不“知道”如何处理他的错误，它必须中止并返回失败信号。

重要的一点：如果函数没有报告发生的错误，它应该清除错误状态，否则 python 解释器处于不一致状态并且可能发生细微错误：例如 Cython cdef-functions 和 @987654323 @ 取决于正确的错误状态（Cython 的 except 子句的工作方式有何不同，请参见例如 this SO-answer）。

现在，回到你的cdef-函数。

• 如果在没有except 的情况下声明它，Cython 会处理全局状态：如果发生错误，则在函数返回默认值之前清除状态（并将警告写入标准错误）。李>
• 如果函数使用except 1 声明，则函数调用者必须负责清除错误状态。

所以问题是：FUNC_EVAL-functors 的调用者是否会在出现错误时清除 Python 的错误状态？

• 如果是，请将函数指针类型包装为ctypedef... (*FUNC_EVAL)(...) except 1，以使 Cython 清楚，调用者将能够处理错误。
• 如果不是（更有可能），您将不得不在cdef-函数中处理 Python 的错误状态。

在“否”的情况下，最直接的方法是在cdef 函数中使用try: ... except: ...，即

cdef RETCODE func_eval(int a,
                       int b,
                       void* func_data):
  try:
    (<object> func_data).func_eval(a, b)
  except Exception:
     return ERROR
  return OKAY

有人可能会担心，即使在没有引发异常的情况下，使用try... except... 也会增加开销。这是真的。但是，您已经在调用一些 Python 功能，因此这种额外的开销不会影响性能。

我的快速实验表明，如果在调用的 Python 功能中根本没有计算，您可能会损失高达 30%（请参阅答案附录中的实验）。但是上面是一个极端情况，通常你会丢失很多，所以我不会尝试优化它，除非分析器显示它确实是一个问题。

如果您在清除错误时定义 ERROR=0 和 'OKAY=1, so you can use the implementation detail, that Cython sets the result to0`。但是，这条路似乎很滑。

---

开销的测量：

%%cython -a
cdef extern from *:
    """
    typedef int (*FUN)(void);
    void call(FUN f){
       f();
    }
    """
    ctypedef int (*FUN)()
    void call(FUN f)

def dummy():
    pass

cdef int cython_handling():
    dummy()
    return 1

cdef int manual_handling():
    try:
        dummy()
    except Exception:
        return 0
    return 1

def check_cython():
    cdef int i
    for i in range(1000):
        call(cython_handling)

def check_manually():
    cdef int i
    for i in range(1000):
        call(manual_handling)

现在：

%timeit check_cython()
# 21.6 µs ± 164 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)
%timeit check_manually()
# 27 µs ± 493 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)