标签：queue join Manager 阻塞 Queue manager multiprocessing

问题

使用multiprocessing.Process()创建并行任务需要跨进程收集返回值
很自然想到使用queue进行出入参捕获，发现程序在each.join()无法继续

解决

开始以为是返回值数量过多导致queue被塞满，打断点并为发现相应问题。
深入研究发现使用multiprocessing.Queue()产生的queue存在一些问题，主要有两方面：

• multiprocessing.Queue() is an object whereas multiprocessing.Manager().Queue() is an address (proxy) pointing to shared queue managed by the multiprocessing.Manager() object.
• therefore you can't pass normal multiprocessing.Queue() objects to Pool methods, because it can't be pickled.

资料进一步指出使用multiprocessing.Queue()并存放数据可能在join期间存在deadlock风险。
因此使用实例化的multiprocessing.Manager().Queue()代替原有的multiprocessing.Queue()始终是更好的选择。

# tasks = multiprocessing.Queue(core_num)
# results = multiprocessing.Queue()

manager = mp.Manager()
tasks = manager.Queue(core_num)
results = manager.Queue()

参考

Python multiprocessing.Queue vs multiprocessing.manager().Queue() - Stack Overflow
16.6. multiprocessing — Process-based “threading” interface — Python 2.7.18 documentation
python - Why does multiprocessing.Process.join() hang? - Stack Overflow

标签：queue,join,Manager,阻塞,Queue,manager,multiprocessing
来源： https://www.cnblogs.com/azureology/p/16428568.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。