boost.python 不支持并行性？

Question

我正在尝试使用 boost.python 将一段 C++ 代码包装到 python lib 中，但是，我发现多个实例不能同时运行：

代码（C++）：

class Foo{
public:
    Foo(){}
    void run(){
        int seconds = 2;
        clock_t endwait;
        endwait = clock () + seconds * CLOCKS_PER_SEC ;
        while (clock() < endwait) {}
    }   

};

BOOST_PYTHON_MODULE(run_test)
{
   using namespace boost::python;

   class_<Foo>("test", init<>())
      .def("run", &Foo::run)
      ;   

}

这是使用CMake（CMake）编译的：

add_library(run_test SHARED run_test.cpp)
target_link_libraries(run_test boost_python python2.7)

并使用以下代码 (Python) 进行测试：

class Dos(threading.Thread):
    def run(self):
        printl('performing DoS attack')

        proc = test()
        proc.run()

for i in range(5):
    t = Dos()
    t.start()

输出表明代码以一种非常奇怪的方式并行化。每个线程应该只需要 2 秒，并且应该在我的四核机器上同时运行 4 个线程：

[2011-11-04 13:57:01] performing DoS attack
 [2011-11-04 13:57:01] performing DoS attack
[2011-11-04 13:57:05] performing DoS attack
 [2011-11-04 13:57:05] performing DoS attack
[2011-11-04 13:57:09] performing DoS attack

感谢您的帮助！

Answer 1

您遇到的是 python 全局解释器锁。 GIL 一次只允许一个线程在 python 解释器中运行。

Boost.Python 的一个优点是你可以释放 GIL，做 C++ 的东西，然后在你完成后把它拿回来。然而，这也是一种责任。 Python 通常会定期释放 GIL，以便让其他线程有机会运行。如果您使用 C++，这就是您的工作。如果你拿着 GIL 2 小时处理数字，你会冻结整个口译员。

这可以通过一点反向 RAII 轻松解决：

class releaseGIL{
public:
    inline releaseGIL(){
        save_state = PyEval_SaveThread();
    }

    inline ~releaseGIL(){
        PyEval_RestoreThread(save_state);
    }
private:
    PyThreadState *save_state;
};

现在您可以像这样更改代码：

class Foo{
public:
    Foo(){}
    void run(){
        {
            releaseGIL unlock = releaseGIL();
            int seconds = 2;
            clock_t endwait;
            endwait = clock () + seconds * CLOCKS_PER_SEC ;
            while (clock() < endwait) {}
        }
    }   
};

请务必注意，在未持有 GIL 的情况下，您不得触摸任何 Python 代码、Python 数据或调用解释器。这将导致您的解释器崩溃。

也可以另辟蹊径。当前没有持有 GIL 的线程可以获取它，并调用 python。这可以是一个较早发布 GIL 的线程，也可以是一个以 c++ 启动但从未拥有过 GIL 的线程。这是 RAII 类：

class AcquireGIL 
{
public:
    inline AcquireGIL(){
        state = PyGILState_Ensure();
    }

    inline ~AcquireGIL(){
        PyGILState_Release(state);
    }
private:
    PyGILState_STATE state;
};

使用留给学生作为练习。

附加说明（我总是忘记提及）：

如果您要在 c++ 中弄乱 GIL，您的模块定义需要从以下代码开始：

BOOST_PYTHON_MODULE(ModuleName)
{
    PyEval_InitThreads();

    ...
}