ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

阿里技术团队首发分布式核心原理解析+分布式消息中间件实践笔记,成功刷新了我的认知!

2021-06-10 23:51:27  阅读:216  来源: 互联网

标签:认知 RabbitMQ Kafka 消息 消息中间件 ActiveMQ 分布式


分布式消息中间件实践笔记

首先,这份分布式消息中间件实践笔记是以Java语言编写。

消息中间件是分布式系统中的重要组件,在实际工作中常用消息中间件进行系统间数据交换,从而解决应用解耦、异步消息、流量削峰等问题,实现高性能、高可用、可伸缩和最终一致性架构。 目前市面上可供选择的消息中间件有RabbitMQ、ActiveMQ、 Kafka、 RocketMQ、 ZeroMQ、 MetaMQ 等。

这份笔记结合作者近年来在实际项目中使用消息中间件的经历和踩过的一些坑总结整理而成,主要介绍消息中间件使用的背景、基本概念,以及常用的四种消息中间件产品在各个业务场景中的使用案例。作为案例介绍,虽然不能对各种消息中间件产品的所有特性做详细说明,但是希望读者可以通过每章中的案例讨论和实践建议得到启发,为在实际工作中进行产品选型、业务场景方案制定、性能调整等提供思路。

下面会为大家分享分布式消息中间件实践笔记+分布式核心原理解析笔记,需要看图!

消息队列

系统间通信技术介绍

为何要用消息队列

消息队列的功能特点

设计一个简单的消息队列

  • 消息处理中心
  • 客户端访问

腾讯内容首发:分布式核心原理解析+分布式消息中间件实践笔记

 

消息协议

AMQP

MQTT

STOMP

XMPP

JMS

腾讯内容首发:分布式核心原理解析+分布式消息中间件实践笔记

 

RabbitMQ

简介

工程实例

  • Java 访问RabbitMQ实例
  • Spring 整合RabbitMQ
  • 基于RabbitMQ的异步处理
  • 基于RabbitMQ的消息推送

腾讯内容首发:分布式核心原理解析+分布式消息中间件实践笔记

 

RabbitMQ实践建议

  • 虚拟主机
  • 消息保存
  • 消息确认模式
  • 消费者应答
  • 流控机制
  • 通道
  • 总结

腾讯内容首发:分布式核心原理解析+分布式消息中间件实践笔记

 

ActiveMQ

简介

工程实例

  • Java 访问ActiveMQ实例
  • Spring 整合ActiveMQ
  • 基于ActiveMQ的消息推送
  • 基于ActiveMQ的分布式事务

腾讯内容首发:分布式核心原理解析+分布式消息中间件实践笔记

 

ActiveMQ实践建议

  • 消息转发模式
  • 消息积压
  • 消息事务
  • 消息应答模式
  • 消息发送优化
  • 消息消费优化
  • 消息协议
  • 消息持久化

腾讯内容首发:分布式核心原理解析+分布式消息中间件实践笔记

 

Kafka

简介

工程实例

  • Java 访问Kafka实例
  • Spring 整合Kafka
  • 基于Kafka的用户行为数据采集
  • 基于Kafka的日志收集
  • 基于Kafka的流量削峰

腾讯内容首发:分布式核心原理解析+分布式消息中间件实践笔记

 

Kafka实践建议

  • 分区
  • 复制
  • 消息发送
  • 消费者组
  • 消费偏移量

腾讯内容首发:分布式核心原理解析+分布式消息中间件实践笔记

 

RocketMQ

简介

工程实例

  • Java访问RocketMQ实例
  • Spring整合RocketMQ
  • 基于RocketMQ的消息顺序处理
  • 基于RocketMQ的分布式事务

腾讯内容首发:分布式核心原理解析+分布式消息中间件实践笔记

 

RocketMQ实践建议

  • 消息重试
  • 消息重复
  • 集群
  • 顺序消息
  • 定时消息
  • 批量发送消息
  • 事务消息

腾讯内容首发:分布式核心原理解析+分布式消息中间件实践笔记

 

分布式核心原理解析笔记

按照不同维度,分布式系统的指标可以分为性能、资源占用、可用性、可扩展性这四大类。我们自然希望自己的系统,是高性能、高可用、高扩展和低资源占用的,但考虑到硬件成本、开发效率等因素,必须要在设计不同的系统、业务时有所取舍。

所以,我又和你分析了典型的电商、loT、 电信、HPC (高性能计算)、大数据、 云计算、区块链等业务或系统的不同诉求,进而得出了系统设计者需要关注哪些指标。你在设计其他类型的系统时,可以按照这个思路进行取舍。

分布式协调与同步

分布式互斥

分布式选举

分布式共识

分布式事务

分布式锁

分布式技术是如何引爆人工智能的?

腾讯内容首发:分布式核心原理解析+分布式消息中间件实践笔记

 

腾讯内容首发:分布式核心原理解析+分布式消息中间件实践笔记

 

分布式资源管理与负载调度

分布式体系结构一集中式结构

分布式体系结构一非集中式结构

分布式调度架构一单体调度

分布式调度架构一两层调度

分布式调度架构一共享状态调度

分布式事务与分布式锁相关问题

腾讯内容首发:分布式核心原理解析+分布式消息中间件实践笔记

 

腾讯内容首发:分布式核心原理解析+分布式消息中间件实践笔记

 

分布式计算技术

分布式计算模式一MR

分布式计算模式一Stream

分布式计算模式一Actor

分布式计算模式一流水线

腾讯内容首发:分布式核心原理解析+分布式消息中间件实践笔记

 

腾讯内容首发:分布式核心原理解析+分布式消息中间件实践笔记

 

分布式通信技术

分布式通信一远程调用

分布式通信一发布订阅

分布式通信一消息队列

分布式体系架构与分布式计算相关问题

腾讯内容首发:分布式核心原理解析+分布式消息中间件实践笔记

 

腾讯内容首发:分布式核心原理解析+分布式消息中间件实践笔记

 

分布式数据存储

CAP理论

分布式数据存储系统一三要素

数据分布方式一哈希与一致性哈希

分布式数据复制技术

分布式数据—缓存技术

腾讯内容首发:分布式核心原理解析+分布式消息中间件实践笔记

 

腾讯内容首发:分布式核心原理解析+分布式消息中间件实践笔记

 

分布式高可靠

分布式高可靠一负载均衡

分布式高可靠一流量控制

分布式高可用一故障隔离

分布式高可用—故障恢复

如何判断并解决网络分区问题?

腾讯内容首发:分布式核心原理解析+分布式消息中间件实践笔记

 

腾讯内容首发:分布式核心原理解析+分布式消息中间件实践笔记

 

总结

消息队列在大型分布式系统中具有丰富的应用场景。例如,系统间需要解耦,一个系统发布消息,多个系统订阅消费消息,消息生产者并不需要知道消费方是谁。在高并发场景下,比如秒杀活动,短时间内会发起大量请求,为应对瞬时请求,如果部署大量的机器来处理请求,秒杀活动结束后流量很低,则会浪费很多资源,增加成本,而使用消息队列的堆积能力,先保存请求,再匀速处理请求,则会很好地解决此类问题。笔记中从不同角度细致地讲解了各种消息中间件,读者可以结合场景,从高可用性、可扩展性、伸缩性、消息堆积能力等方面选择符合自己需求的中间件。

100%免费获取方式:添加小助理

标签:认知,RabbitMQ,Kafka,消息,消息中间件,ActiveMQ,分布式
来源: https://blog.51cto.com/u_15265637/2895179

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有