c – boost.python不支持并行性？

2019-09-23 03:05:16 阅读：210 来源： 互联网

标签：boost-python c parallel-processing boost

我试图使用boost.python将一段C代码包装到python lib中,但是,我发现多个实例不能同时运行：

代码(C)：

class Foo{
public:
    Foo(){}
    void run(){
        int seconds = 2;
        clock_t endwait;
        endwait = clock () + seconds * CLOCKS_PER_SEC ;
        while (clock() < endwait) {}
    }   

};

BOOST_PYTHON_MODULE(run_test)
{
   using namespace boost::python;

   class_<Foo>("test", init<>())
      .def("run", &Foo::run)
      ;   

}

这是使用CMake(CMake)编译的：

add_library(run_test SHARED run_test.cpp)
target_link_libraries(run_test boost_python python2.7)

并使用以下代码(Python)进行测试：

class Dos(threading.Thread):
    def run(self):
        printl('performing DoS attack')

        proc = test()
        proc.run()

for i in range(5):
    t = Dos()
    t.start()

输出表明代码以非常奇怪的方式并行化.每个线程应该只需要2秒钟,并且我的四核机器上应该同时运行4个线程：

[2011-11-04 13:57:01] performing DoS attack
 [2011-11-04 13:57:01] performing DoS attack
[2011-11-04 13:57:05] performing DoS attack
 [2011-11-04 13:57:05] performing DoS attack
[2011-11-04 13:57:09] performing DoS attack

谢谢您的帮助！

解决方法:

你遇到的是python Global Interpreter Lock. GIL一次只允许一个线程在python解释器中运行.

Boost.Python的一个优点是你可以释放GIL,做C的东西,然后在你完成后把它拿回来.然而,这也是一项责任. Python通常会定期释放GIL,以便让其他线程有机会运行.如果你在C,这是你的工作.如果你在持有GIL的情况下持续2个小时的紧缩数字,你将冻结整个翻译.

这可以通过一点反向RAII轻松解决：

class releaseGIL{
public:
    inline releaseGIL(){
        save_state = PyEval_SaveThread();
    }

    inline ~releaseGIL(){
        PyEval_RestoreThread(save_state);
    }
private:
    PyThreadState *save_state;
};

现在您可以像这样更改代码：

class Foo{
public:
    Foo(){}
    void run(){
        {
            releaseGIL unlock = releaseGIL();
            int seconds = 2;
            clock_t endwait;
            endwait = clock () + seconds * CLOCKS_PER_SEC ;
            while (clock() < endwait) {}
        }
    }   
};

非常重要的是要注意,你不得触摸任何python代码,python数据或在不持有GIL的情况下调用解释器.这将导致您的解释器崩溃.

也可以走另一条路.当前持有GIL的线程可以获取它,并调用python.这可以是之前发布GIL的线程,也可以是以c开头但从未使用过GIL的线程.这是RAII类：

class AcquireGIL 
{
public:
    inline AcquireGIL(){
        state = PyGILState_Ensure();
    }

    inline ~AcquireGIL(){
        PyGILState_Release(state);
    }
private:
    PyGILState_STATE state;
};

用法留给学生练习.

附加说明(我总是忘记提及这一点)：

如果你要在c中搞乱GIL,你的模块定义需要从这段代码开始：

BOOST_PYTHON_MODULE(ModuleName)
{
    PyEval_InitThreads();

    ...
}

标签：boost-python,c,parallel-processing,boost
来源： https://codeday.me/bug/20190923/1813539.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

c – boost.python不支持并行性？