ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

记一次rabbitmq 消息不能接受故障的处理

2022-06-07 01:03:10  阅读:172  来源: 互联网

标签:处理 rabbitmq 问题 故障 mq 磁盘 日志


问题

当时比较怪异,现象是通过rabbitmq 的management可以发送消息(消息内容比较小,很简单的),但是通过代码没有任何报错
但是消息就是不能看到(management 界面)

排错处理

开始以为是代码处理问题,但是没有异常日志,也怀疑因为代码发布造成队列错误造成消息写入错误,我一般的此类问题的方式
就是基于arthas 观察调用链(同时也可以看到输入以及输出)
对应spring boot amqttemplate 的处理(以下命令没啥多大问题,因为业务比较小,可以执行运行)

 
watch  org.springframework.amqp.rabbit.core.RabbitTemplate  convertAndSend '{params,returnObj}' -x 5 

但是通过测试观测,数据是正确的(输入以及输出,而且就是没有一样)说明mq 的监听服务的协议处理是正常的
当时就有点费事了,然后登录mq 服务器,查看mq 日志,观测系统的cpu 以及内存情况,发现都是正常的,然后习惯性的看了下磁盘
空间,很不好的是磁盘100%了,可用20多M了,问题应该就是这个了(mq 数据需要落盘,磁盘100%肯定是会有问题的)

解决

核心就是清理磁盘空间,比如日志的一些其他不需要的

造成问题的原因

以为新版本mq 支持基于prometheus 的报警,因为服务器的特殊性,我们了vmagent 进行数据的推送,但是prometheus 存储服务异常了
vmagent 会将没有发送的数据落盘然后会进行重试,然后就占满了磁盘空间了。。。

复盘

系统的监控很重要,同时对于监控的监控也很重要,多管齐下才能保证系统的可靠以及稳定

参考资料

https://www.rabbitmq.com/disk-alarms.html
https://www.rabbitmq.com/logging.html

标签:处理,rabbitmq,问题,故障,mq,磁盘,日志
来源: https://www.cnblogs.com/rongfengliang/p/16350310.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有