基本概念
(1) 什么是kafka:大吞吐量，内置分区，可以进行数据备份，同时具备数据容错性的消息系统。
① Kafka可以完成在线或者离线数据消费，所谓离线数据消费实际上就是kafka将消息数据保留在磁盘上。
② kafka会做数据备份，防止节点宕机从而导致数据丢失。
③ 和spark产品的整合性非常好，可以完成实时的大数据分析
④ kafka的节点可以无限扩容
(2) 什么是消息系统：将数据从一个应用程序传递到另一个应用程序，分布式系统利用消息系统，在多应用之间进行高效、稳定、安全的数据传递。
(3) 两种消息模式
① 点对点：若干个生产和消费者，处理队列当中的数据，一旦该数据被消费，则从队列当中被移除。（多线程：生产消费者模型）
② 发布-订阅：消息是被保留在主题当中，消费者消费一个或者若干个主题当中的消息
(4) 术语：
① Topics
② Partition
③ Offset
④ Brokers
⑤ Kafka Cluster
(5) 发布和订阅的流程
① 生产者向主题当中提交消息，代理将主题当中的数据在主题的分区当中依次保存；
② 消费者向代理请求获取消息，代理向消费者提供偏移量，消费者根据偏移量要求获取消息。
③ 消费者排队的前提，消费者数量大于分区数量
标签：bd,消费者,主题,kafka,消息,当中,数据 来源： https://www.cnblogs.com/macro-renzhansheng/p/13664738.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。