标签：python flask multiprocessing wsgi gunicorn

我有一个在Gunicorn下运行的Flask应用程序,使用同步工作器类型和20个工作进程.该应用程序在启动时读取大量数据,这需要时间并使用内存.更糟糕的是,每个进程加载自己的副本,这会导致它花费更长的时间并占用20倍的内存.数据是静态的,不会改变.我想加载一次,让所有20名员工分享它.

如果我使用preload_app设置,它只加载一个线程,最初只占用1X内存,但是一旦请求开始进入,它似乎会变成20X.我需要快速随机访问数据,所以我宁愿不做IPC.

有没有办法在Gunicorn流程之间共享静态数据？

解决方法:

内存映射文件将允许您在进程之间共享页面.

https://docs.python.org/2/library/mmap.html

请注意,内存消耗统计通常会产生误导并且无益.通常最好考虑vmstat的输出,看看你是否交换了很多.

标签：python,flask,multiprocessing,wsgi,gunicorn
来源： https://codeday.me/bug/20191001/1838822.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。