ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

kafka实践问题总结

2022-03-01 15:34:43  阅读:174  来源: 互联网

标签:总结 leaderIsrUpdateLock ISR 读写 实践 kafka replica 节点


  查看别人线上遇到的问题,也能很好的学习其中的理论,从而提高自己应对线上问题的能力。

1、Kafka ISR频繁伸缩缩引发性能急剧下降原因分析

要点概述:主要是因为kafka Broker在处理高水位线(HW)会涉及到读写锁leaderIsrUpdateLock,

  (1)写入消息和拉去消息都会申请leaderIsrUpdateLock的读锁(2)ISR扩张和收缩时会申请leaderIsrUpdateLock的写锁

  所以当ISR频繁发生扩张与收缩时会严重影响kafka消息的读写。

  解决方法:

  (1)replica.lag.time.max.ms从默认10s改为30s,降低副本被移除ISR门槛

  (2)num.replica.fetchers从1适当增加,提高follower节点从leader节点同步数据的线程数

 

标签:总结,leaderIsrUpdateLock,ISR,读写,实践,kafka,replica,节点
来源: https://www.cnblogs.com/jing-yi/p/15950369.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有