C代码内嵌python回调函数

Question

C代码内嵌python回调函数，通过回调将数据放入python队列，当我从队列中获取数据时，速度很慢。

例子：

这样的代码

static int wrap_func(const int a, const unsigned char *b)
{
  long ret;
  PyObject *arglist;
  PyObject * result = NULL;

  arglist = Py_BuildValue("(s#)", b, a);
  result = PyEval_CallObject(my_callback, arglist);

  /* evaluate result or handle exception */
  ret = PyInt_AsLong(result);
  if (result == NULL)
    return -1;
  Py_DECREF(result);

  return ret;
}

void produce_data()
{
    while(1){
        //produce data to buffer, len is buffer length
        //call callback func 
        wrap_func(buffer, len);
    }
}

把这个c代码编译成so like mywrap.so，然后在python中导入这个so python代码如下：

import multiprocessing
import mywarp   # mywrap.so

class WorkerThread_a(threading.Thread):
    def __init__(self, workQueue):
        threading.Thread.__init__(self)
        self.workQueue = workQueue
        self.setDaemon(True)
    def run(self):
        while 1:
            try:
                recvdata = self.workQueue.get(block=False)
            except Queue.Empty:
                continue
            #do sth use recvdata

workQueue = multiprocessing.Queue()

def callback_func(a):
    if a:
        workQueue.put(a)
    return 0

def main():
    tmp = WorkerThread_a(workQueue)
    tmp.start()
    mywarp.set_callback(callback_func)
    mywarp.decode_audio()

main()

在python线程中，我从队列中获取数据，但是我获取数据非常慢，但是在c中，生成数据并通过python回调函数快速放入队列。

如何像在纯 Python 代码中一样快速从队列中获取数据。

Answer 1

我认为发生的情况是您的 C 代码永远不会释放全局解释器锁 (GIL)，因此您的 Python 代码永远没有机会运行。当您在 Python 代码中运行多个线程时，它们会自动在它们之间交换 GIL，从而平等地共享时间，但是如果没有您对 C 代码的干预，这不会发生。

如果您在 C 代码中的每个循环中获取并释放一次 GIL，它可能会更好地工作（即使您不做任何不需要需要它的事情）。我真正做的只是在函数的开头添加了宏 Py_BEGIN_ALLOW_THREADS 和 Py_END_ALLOW_THREADS。

static int wrap_func(const int a, const unsigned char *b)
{
  Py_BEGIN_ALLOW_THREADS /* ADDED! */
  /* This should give the chance for the main Python thread
  to run, even though no code goes here */
  Py_END_ALLOW_THREADS /* ADDED */

  long ret;
  PyObject *arglist;
  PyObject * result = NULL;

  arglist = Py_BuildValue("(s#)", b, a);
  result = PyEval_CallObject(my_callback, arglist);

  /* evaluate result or handle exception */
  ret = PyInt_AsLong(result);

  /* This is chang */
  if (result == NULL)
    return -1;
  Py_DECREF(result);


  return ret;
}

（我应该说 - 这是一个未经检验的猜测，我 90% 肯定是对的，但我以前错了！）