标签：record max Kafka records EventHub Azure poll Consumer fetch

问题描述

使用Kafka消费Azure EventHub中数据，遇见消费慢的情况可以如何来调节呢？

问题解答

查看Kafka Consumer的配置参数，其中最只要的一个参数为：max.poll.records， 表示Consumer每次调用poll()时取到的records的最大数。一般情况，在增加max.poll.records后，能让消费速度起到明显的提升。

Consumer读取partition中的数据是通过调用发起一个fetch请求来执行的。而从KafkaConsumer来看，它有一个poll方法。但是这个poll方法只是可能会发起fetch请求。原因是：Consumer每次发起fetch请求时，读取到的数据是有限制的，通过配置项max.partition.fetch.bytes来限制的。而在执行poll方法时，会根据配置项个max.poll.records来限制一次最多pool多少个record。

那么就可能出现这样的情况： 在满足max.partition.fetch.bytes限制的情况下，假如fetch到了100个record，放到本地缓存后，由于max.poll.records限制每次只能poll出15个record。那么KafkaConsumer就需要执行7次才能将这一次通过网络发起的fetch请求所fetch到的这100个record消费完毕。其中前6次是每次pool中15个record，最后一次是poll出10个record。

更多Kafka Consumer Configuration见：https://www.cnblogs.com/rainwang/p/7493742.html

参考资料

kafka消费指定每次最大消费消息数量 max.poll.records: https://blog.csdn.net/yangshengwei230612/article/details/106636827

kafka consumer 配置详解：https://www.cnblogs.com/rainwang/p/7493742.html

标签：record,max,Kafka,records,EventHub,Azure,poll,Consumer,fetch
来源： https://www.cnblogs.com/lulight/p/16036365.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。