全局解释器锁定和数据访问（例如，用于 NumPy 数组）

Question

我正在为 Python 编写一个 C 扩展，它应该在对数据进行操作时释放全局解释器锁。我想我已经很好地理解了 GIL 的机制，但是还有一个问题：我可以在线程不拥有 GIL 的情况下访问 Python 对象中的数据吗？例如，我想从 C 函数中的（大）NumPy 数组中读取数据，同时我仍然希望允许其他线程在其他 CPU 内核上执行其他操作。 C函数应该

• 使用Py_BEGIN_ALLOW_THREADS 发布 GIL
• 在不使用 Python 函数的情况下读取和处理数据
• 甚至将数据写入之前构建的 NumPy 数组
• 使用Py_END_ALLOW_THREADS 重新获取 GIL

这样安全吗？当然，其他线程不应该更改 C 函数使用的变量。但也许有一个隐藏的错误来源：Python 解释器是否可以移动一个对象，例如。通过某种垃圾收集，而 C 函数在单独的线程中处理它？

为了用一个最小的例子来说明这个问题，请考虑下面的（最小但完整的）代码。用

编译它（在Linux上）

gcc -pthread -fno-strict-aliasing -DNDEBUG -g -fwrapv -fPIC -I/usr/lib/pymodules/python2.7/numpy/core/include -I/usr/include/python2.7 -c gilexample.c -o gilexample.o
gcc -pthread -shared gilexample.o -o gilexample.so

并在 Python 中使用

对其进行测试

import gilexample
gilexample.sum([1,2,3])

Py_BEGIN_ALLOW_THREADS 和 Py_END_ALLOW_THREADS 之间的代码安全吗？它访问 Python 对象的内容，我不想在内存中复制（可能很大）数组。

#include <Python.h>
#include <numpy/arrayobject.h>

// The relevant function
static PyObject * sum(PyObject * const self, PyObject * const args) {
  PyObject * X;
  PyArg_ParseTuple(args, "O", &X);
  PyObject const * const X_double = PyArray_FROM_OTF(X, NPY_DOUBLE, NPY_ALIGNED);
  npy_intp const size = PyArray_SIZE(X_double);
  double * const data = (double *) PyArray_DATA(X_double);
  double sum = 0;

  Py_BEGIN_ALLOW_THREADS // IS THIS SAFE?

  npy_intp i;
  for (i=0; i<size; i++)
    sum += data[i];

  Py_END_ALLOW_THREADS

  Py_DECREF(X_double);
  return PyFloat_FromDouble(sum);
}

// Python interface code
// List the C methods that this extension provides.
static PyMethodDef gilexampleMethods[] = {
  {"sum", sum, METH_VARARGS},
  {NULL, NULL, 0, NULL}     /* Sentinel - marks the end of this structure */
};

// Tell Python about these methods.
PyMODINIT_FUNC initgilexample(void)  {
  (void) Py_InitModule("gilexample", gilexampleMethods);
  import_array();  // Must be present for NumPy.
}

Answer 1

这样安全吗？

严格来说，不。我认为您应该将呼叫移至无 GIL 块之外的 PyArray_SIZE 和 PyArray_DATA；如果你这样做，你将只对 C 数据进行操作。您可能还想在进入无 GIL 块之前增加对象的引用计数，然后再减少它。

编辑后，它应该是安全的。之后不要忘记减少引用计数。

Answer 2

我可以在线程不拥有 GIL 的情况下访问 Python 对象中的数据吗？

不，你不能。