python 2.7 使用 multiprocessing Queue 实现进程共享队列

2020-01-30 11:36:44 阅读：249 来源： 互联网

标签：__ queue python lock Queue process 2.7 multiprocessing

在实现爬虫功能时，启用了多进程功能，但是发现普通的Queue传入进城后是每个进程复制了一份，而不是大家共享该变量，经过查询，multiprocessing 模块本身提供了多个类型的共享变量，包括 Value,dict,list,queue等。本文记录了使用Queue的示例代码。

#!/usr/bin/env python
# *_coding:utf-8_*_

from multiprocessing import Process, Lock, Queue
import os


# multiprocessing.Queue 是线程安全的，不需要使用lock机制
def foo(lock, process_queue):
	# 打印当前进程id，打印队列头
    print os.getpid(), process_queue.get()
    # 将自己的进程id插入队列，其他进程访问队列时可以获取到的话说明队列已经共享
    process_queue.put(os.getpid())
    pass


def test():
    processes = []
    process_queue = Queue()
    lock = Lock()
    process_queue.put(1)
    for i in range(10):
        p = Process(target=foo, name=str(i), args=(lock, process_queue, ))
        p.start()
        processes.append(p)
    for p in processes:
        p.join()
    pass


if __name__ == '__main__':
    test()

输出结果

DarkN0te 发布了3 篇原创文章 · 获赞 0 · 访问量 28 私信关注

标签：__,queue,python,lock,Queue,process,2.7,multiprocessing
来源： https://blog.csdn.net/m0_46232048/article/details/104113398

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

python 2.7 使用 multiprocessing Queue 实现进程共享队列