标签：Java scanner s2.51 Kafka 消息 https cto com 图文
 # 目录 * Kafka的基本介绍 * Kafka的设计原理分析 * Kafka数据传输的事务特点 * Kafka消息存储格式 * 副本（replication）策略 * Kafka消息分组，消息消费原理 * Kafak顺序写入与数据读取 * 消费者（读取数据） # Kafka的基本介绍 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 主要应用场景是：日志收集系统和消息系统。 Kafka主要设计目标如下： * 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能。 * 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输。 * 支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输。 * 同时支持离线数据处理和实时数据处理。 # Kafka的设计原理分析  一个典型的kafka集群中包含若干producer，若干broker，若干consumer，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在consumer group发生变化时进行rebalance。producer使用push模式将消息发布到broker，consumer使用pull模式从broker订阅并消费消息。 Kafka专用术语： * Broker：消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群。 * Topic：一类消息，Kafka集群能够同时负责多个topic的分发。 * Partition：topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列。 * Segment：partition物理上由多个segment组成。 * offset：每个partition都由一系列有序的、不可变的消息组成，这些消息被连续的追加到partition中。partition中的每个消息都有一个连续的序列号叫做offset，用于partition唯一标识一条消息。 * Producer：负责发布消息到Kafka broker。 * Consumer：消息消费者，向Kafka broker读取消息的客户端。 * Consumer Group：每个Consumer属于一个特定的Consumer Group。 # Kafka数据传输的事务特点 * at most once：最多一次，这个和JMS中"非持久化"消息类似，发送一次，无论成败，将不会重发。消费者fetch消息，然后保存offset，然后处理消息；当client保存offset之后，但是在消息处理过程中出现了异常，导致部分消息未能继续处理。那么此后"未处理"的消息将不能被fetch到，这就是"at most once"。 * at least once：消息至少发送一次，如果消息未能接受成功，可能会重发，直到接收成功。消费者fetch消息，然后处理消息，然后保存offset。如果消息处理成功之后，但是在保存offset阶段zookeeper异常导致保存操作未能执行成功，这就导致接下来再次fetch时可能获得上次已经处理过的消息，这就是"at least once"，原因offset没有及时的提交给zookeeper，zookeeper恢复正常还是之前offset状态。 * exactly once：消息只会发送一次。kafka中并没有严格的去实现（基于2阶段提交），我们认为这种策略在kafka中是没有必要的。 通常情况下"at-least-once"是我们首选。 # Kafka消息存储格式 **Topic & Partition** 一个topic可以认为一个一类消息，每个topic将被分成多个partition，每个partition在存储层面是append log文件。  在Kafka文件存储中，同一个topic下有多个不同partition，每个partition为一个目录，partiton命名规则为topic名称+有序序号，第一个partiton序号从0开始，序号最大值为partitions数量减1。  * 每个partion（目录）相当于一个巨型文件被平均分配到多个大小相等segment（段）数据文件中。但每个段segment file消息数量不一定相等，这种特性方便old segment file快速被删除。 * 每个partiton只需要支持顺序读写就行了，segment文件生命周期由服务端配置参数决定。 这样做的好处就是能快速删除无用文件，有效提高磁盘利用率。 * segment file组成：由2大部分组成，分别为index file和data file，此2个文件一一对应，成对出现，后缀".index"和“.log”分别表示为segment索引文件、数据文件. * segment文件命名规则：partion全局的第一个segment从0开始，后续每个segment文件名为上一个segment文件最后一条消息的offset值。数值最大为64位long大小，19位数字字符长度，没有数字用0填充。 # Kafka实战笔记 > **关于这份笔记，为了不影响大家的阅读体验，我只能在文章中展示部分的章节内容和核心截图，如果你需要完整的pdf版本，[戳这里即可免费领取](https://docs.qq.com/doc/DSmxTbFJ1cmN1R2dB)。**  * **Kafka入门** * **为什么选择Kafka** * **Karka的安装、管理和配置**  * **Kafka的集群** * **第一个Kafka程序** *  afka的生产者  * **Kafka的消费者** * **深入理解Kafka** * **可靠的数据传递**   * **Spring和Kalka的整合** * **Sprinboot和Kafka的整合** * **Kafka实战之削峰填谷** * **数据管道和流式处理(了解即可)**  * **Kafka实战之削峰填谷** 标签：Java,scanner,s2.51,Kafka,消息,https,cto,com,图文 来源： https://blog.51cto.com/u_15289166/2972548
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。