标签：中间人 队列 Worker Broker 职程 Celery 分布式

Celery是一款非常简单,灵活, 可靠的分布式系统, 可用于处理大量消息, 并且提供了一整套操作此系统的一系列工具

Celery是一款消息队列工具, 可用于处理实时数据以及任务调度

什么是任务队列?

任务队列一般用于线程或计算机之间分配工作的一种机制

任务队列的输入是一个成为任务的工作单元, 有专门的职称(Worker)进行不断的监视任务队列, 进行执行新的任务工作。

Celery通过消息机制进行通信, 通常使用中间人(Broker)作为客户端和职程(Worker)调节。启动一个任务，客户端向消息发送一条消息，然后中间人(Broker)将消息传递给一个职程(Worker), 最后由职程(Worker)进行执行中间人(Broker)分配的任务。

Celery可以有多个职程(Worker)和中间人(Broker), 用来提高Celery的高可用性以及横向扩展能力

我们需要什么?

Celery需要消息中间件来进行发送和接收消息。RabbitMQ和Resid中间人的功能比较齐全，但也支持其他的实验性的解决方案，其中包括SQLite进行本地开发

Celery可以再一台机器上运行，也可以在多台机器上运行，甚至可以跨数据中心运行

高可用

如果出现丢失连接或连接失败, 职程(Worker)和客户端会自动重试，并且中间人通过主/主 主/从的方式来进行提高可用性

快速

单个Celery进行每分钟可以处理数以百万的任务，而且延迟仅为亚毫秒(使用RabbitMQ，librabbitmq在优化过后).

灵活

Celery的每个部分几乎都可以自定义扩展和单独使用，例如自定义连接池，序列化方式，压缩方式，日志记录方式，任务调度，生产者，消费者，中间人(Broker)等。

标签：中间人,队列,Worker,Broker,职程,Celery,分布式
来源： https://www.cnblogs.com/yunxintryyoubest/p/15869901.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。