Cython并行prange - 线程局部性？

Question

我正在使用 prange 对这样的列表进行迭代：

from cython.parallel import  prange, threadid

cdef int tid
cdef CythonElement tEl
cdef int a, b, c

# elList: python list of CythonElement instances is passed via function call
for n in prange(nElements, schedule='dynamic', nogil=True):
    with gil:
        tEl = elList[n]
        tid =  threadid()
        a = tEl.a
        b = tEl.b
        c = tEl.c 

        print("thread {:} elnumber {:}".format(tid, tEl.elNumber))

   #nothing is done here

    with gil:
        print("thread {:} elnumber {:}".format(tid, tEl.elNumber))

    # some other computations based on a, b and c here ...

我希望得到这样的输出：

thread 0 elnumber 1
thread 1 elnumber 2
thread 2 elnumber 3
thread 3 elnumber 4
thread 0 elnumber 1
thread 1 elnumber 2
thread 2 elnumber 3
thread 3 elnumber 4

但我明白了：

thread 1 elnumber 1
thread 0 elnumber 3
thread 3 elnumber 2
thread 2 elnumber 4
thread 3 elnumber 4
thread 1 elnumber 2
thread 0 elnumber 4
thread 2 elnumber 4

那么，线程局部变量 tEl 不知何故被线程覆盖了？我究竟做错了什么 ？谢谢！

Answer 1

看起来 Cython 故意选择从线程局部变量列表中排除任何 Python 变量（包括 Cython cdef classes）。 Code

我怀疑这是故意避免引用计数问题 - 他们需要在循环结束时删除所有线程局部变量的引用计数（这不是一个无法克服的问题，但可能是一个大变化）。因此我认为它不太可能被修复，但文档更新可能会有所帮助。

解决方案是将你的循环体重构为一个函数，其中每个变量都有效地“本地化”到函数中，因此它不是问题：

cdef f(CythonElement tEl):
    cdef int tid
    with nogil:
        tid = threadid()
        with gil:
            print("thread {:} elnumber {:}".format(tid, tEl.elNumber))

        with gil:
            print("thread {:} elnumber {:}".format(tid, tEl.elNumber))

   # I've trimmed the function a bit for the sake of being testable

# then for the loop:
for n in prange(nElements, schedule='dynamic', nogil=True):
    with gil:
        f()

Answer 2

Cython 提供基于线程的并行性。不保证线程执行的顺序，因此thread 的值是无序的。

如果你希望tEl 是线程私有的，你不应该在全局范围内定义它。尝试在 prange 内移动 cdef CythonElement tEl。见http://cython-devel.python.narkive.com/atEB3yrQ/openmp-thread-private-variable-not-recognized-bug-report-discussion（私有变量的一部分）。