ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

我如何使用celery配置不同的工作池?

2019-12-08 21:56:02  阅读:241  来源: 互联网

标签:scheduled-tasks celery task queue python


我需要(通常)使用以下三类工作程序来部署排队执行服务:

>周期性的,低优先级的工作类别,需要很长时间并且可以串行处理;这些作业最多只能在系统中使用0..2工人.
>定期的,对截止日期敏感的工作类别,需要短至中等的时间(例如,在5分钟后达到顶峰)
>特定的工作类别,其优先级高于#1,但可以与#2交错.任何来自#2类的工人在进入这种工作时都处于不活动状态,应处理该问题,而永远不要饿死#2工人

这三个工作类别都是同一任务,它们之间的唯一区别是请求方式.它们将采用相同的输入并生成相同的输出,但是每个都有不同的性能保证.

如何使用芹菜实现此目的?

解决方法:

您可以使用Celery Routing实现您的目标.您要做的是设置三个不同的路由键,并在您设置的特定路由键上仅列出多个celery worker(具有自定义配置).

标签:scheduled-tasks,celery,task,queue,python
来源: https://codeday.me/bug/20191208/2094387.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有