首页 > 数据库> 文章详细

[视频教程] 基于redis的消息队列实现与思考

2021-06-17 19:53:49 阅读：206 来源： 互联网

使用redis的list列表来实现消息队列功能，相信大家都听过消息队列，但是在业务中可能并没有真正去使用它。在公司项目中正好有个场景使用到了消息队列，因此就来说一下流程。
在web界面上有个功能是群发邮件，用户可以创建一个5000邮箱的邮件列表，编辑完邮件内容后可以给这个邮件列表发信。如果使用同步的方式，直接在浏览器-服务器模式下调用smtp服务发信，肯定速度非常慢，也有可能会超时。现在就是在点完发信后，进入到redis的一个list中，然后直接给用户返回发送成功。至于这些信什么时候发送和完成，都是对用户透明的。在后台进程任务中会去消费list数据，逐条进行发信。

web点击后的入队列很简单，就是单纯的for循环，然后使用lPush在队列的头部增加元素。
后台使用定时任务每隔30分钟启动php进程，去消费list中的数据，并且kill掉之前的php进程。这样做是为了防止PHP进程僵死，定时重启进程来进行操作。

在kill掉进程的时候，有可能会导致正在发信的过程被结束，取出的数据没有被发送成功。redis有提供一个功能是在弹出数据的同时，可以插入到另一个队列中，并且这个操作是原子性的，这样就使用另一个备用队列来存储发送失败的数据，重新进行补偿发送

<?php
/**
 * 模拟web入队列
 */
$redis=new Redis();
$redis->connect('192.168.1.114', 6379);

for($i=0;$i<5000;$i++){
    $message="mes {$i}";
    $redis->lPush("emails",$message);
}
echo "ok";

<?php
//后台进程
$redis=new Redis();
$redis->connect('192.168.1.114', 6379);

while(true){
    $email=$redis->bRPopLPush ("emails","emails_bak",20);
    
    var_dump($email);
    usleep(100);//模拟发信耗时
    $redis->lRem("emails_bak",$email);
}

redis提供的所以关于list的函数

blPop, brPop 阻塞式读取和删除第一个/最后一个元素
bRPopLPush 从列表中弹出一个值，并把它推到另一个列表中
rPopLPush 弹出列表中的最后一个元素，并把他推到另一个列表中
lRange, lGetRange 获取列表中一系列元素
lIndex, lGet 从其索引中获取元素
lSet 通过索引设置元素
lRem, lRemove 通过索引删除元素
lInsert 在列表中一个元素之前或之后插入一个元素
lLen, lSize 获取列表的长度/大小
lPop 弹出列表中的第一个元素
lPush 在列表前添加一个元素
rPop 弹出列表最后一个元素
rPush 在列表末尾增加一个元素
lPushx 仅在列表存在时才在列表前添加元素
rPushX 仅在列表存在时，才在列表结尾增加元素
lTrim, listTrim 将列表修剪到指定范围

cron的规则：

*/30 * * * * root ps -ef |grep SendMassMail | grep -v ps |awk '{print $2}' | xargs kill -9 ;php /usr/local/sinamail/tools/SendMassMailAndMonitor.php

我的视频教程

https://www.bilibili.com/video/av73188455/

标签：队列,list,元素,redis,列表,发信,视频教程
来源： https://blog.51cto.com/u_15274085/2919327

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

[视频教程] 基于redis的消息队列实现与思考