ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

RocketMQ-手把手教你搭建集群

2022-01-14 22:34:50  阅读:216  来源: 互联网

标签:配置文件 手把手 broker 指定 集群 RocketMQ properties store


目录

一、集群架构

二、准备rocketmqOS1主机

三、修改rocketmqOS1配置文件

配置文件位置

修改broker-a.properties

修改broker-b-s.properties

其它配置

四、准备rocketmqOS2主机

五、修改rocketmqOS2配置文件

修改broker-b.properties

修改broker-a-s.properties

六、启动服务器

启动NameServer集群

启动两个Master

启动两个Slave

七、mqadmin命令


一、集群架构

        这里要搭建一个双主双从异步复制的Broker 集群。为了方便,这里使用了两台主机来完成集群的搭建。         这两台主机的功能与broker 角色分配如下表。

二、准备rocketmqOS1主机

准备rocketmqOS主机,并修改配置。指定主机名为rocketmqOS1。

三、修改rocketmqOS1配置文件

配置文件位置

要修改的配置文件在 rocketMQ 解压目录的 conf/2m-2s-async 目录中。

修改broker-a.properties

将该配置文件内容修改为如下:
# 指定整个broker集群的名称,或者说是RocketMQ集群的名称 
brokerClusterName=DefaultCluster 
# 指定master-slave集群的名称。一个RocketMQ集群可以包含多个master-slave集群 
brokerName=broker-a 
# master的brokerId为0 
brokerId=0
# 指定删除消息存储过期文件的时间为凌晨4点 
deleteWhen=04 
# 指定未发生更新的消息存储文件的保留时长为48小时,48小时后过期,将会被删除 
fileReservedTime=48 
# 指定当前broker为异步复制master 
brokerRole=ASYNC_MASTER 
# 指定刷盘策略为异步刷盘 
flushDiskType=ASYNC_FLUSH 
# 指定Name Server的地址 
namesrvAddr=192.168.59.164:9876;192.168.59.165:9876

修改broker-b-s.properties

将该配置文件内容修改为如下:
brokerClusterName=DefaultCluster 
# 指定这是另外一个master-slave集群 
brokerName=broker-b 
# slave的brokerId为非0 
brokerId=1 
deleteWhen=04 
fileReservedTime=48 
# 指定当前broker为slave 
brokerRole=SLAVE 
flushDiskType=ASYNC_FLUSH 
namesrvAddr=192.168.59.164:9876;192.168.59.165:9876 
# 指定Broker对外提供服务的端口,即Broker与producer与consumer通信的端口。默认 10911。由于当前主机同时充当着master1与slave2,而前面的master1使用的是默认端口。这 里需要将这两个端口加以区分,以区分出master1与slave2 
listenPort=11911 
# 指定消息存储相关的路径。默认路径为~/store目录。由于当前主机同时充当着master1与 slave2,master1使用的是默认路径,这里就需要再指定一个不同路径 
storePathRootDir=~/store-s 
storePathCommitLog=~/store-s/commitlog 
storePathConsumeQueue=~/store-s/consumequeue 
storePathIndex=~/store-s/index 
storeCheckpoint=~/store-s/checkpoint 
abortFile=~/store-s/abort

其它配置

除了以上配置外,这些配置文件中还可以设置其它属性。

 

#指定整个broker集群的名称,或者说是RocketMQ集群的名称 
brokerClusterName=rocket-MS 
#指定master-slave集群的名称。一个RocketMQ集群可以包含多个master-slave集群 
brokerName=broker-a
#0 表示 Master,>0 表示 Slave 
brokerId=0 
#nameServer地址,分号分割 
namesrvAddr=nameserver1:9876;nameserver2:9876 
#默认为新建Topic所创建的队列数 
defaultTopicQueueNums=4 
#是否允许 Broker 自动创建Topic,建议生产环境中关闭 
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议生产环境中关闭 
autoCreateSubscriptionGroup=true 
#Broker对外提供服务的端口,即Broker与producer与consumer通信的端口 
listenPort=10911 
#HA高可用监听端口,即Master与Slave间通信的端口,默认值为listenPort+1 
haListenPort=10912
#指定删除消息存储过期文件的时间为凌晨4点 
deleteWhen=04 
#指定未发生更新的消息存储文件的保留时长为48小时,48小时后过期,将会被删除 
fileReservedTime=48 
#指定commitLog目录中每个文件的大小,默认1G 
mapedFileSizeCommitLog=1073741824 
#指定ConsumeQueue的每个Topic的每个Queue文件中可以存放的消息数量,默认30w条 
mapedFileSizeConsumeQueue=300000
#在清除过期文件时,如果该文件被其他线程所占用(引用数大于0,比如读取消息),此时会阻止 此次删除任务,同时在第一次试图删除该文件时记录当前时间戳。该属性则表示从第一次拒绝删除 后开始计时,该文件最多可以保留的时长。在此时间内若引用数仍不为0,则删除仍会被拒绝。不过 时间到后,文件将被强制删除 
destroyMapedFileIntervalForcibly=120000
#指定commitlog、consumequeue所在磁盘分区的最大使用率,超过该值,则需立即清除过期文件
diskMaxUsedSpaceRatio=88 
#指定store目录的路径,默认在当前用户主目录中
storePathRootDir=/usr/local/rocketmq-all-4.5.0/store 
#commitLog目录路径 
storePathCommitLog=/usr/local/rocketmq-all-4.5.0/store/commitlog 
#consumeueue目录路径 
storePathConsumeQueue=/usr/local/rocketmq-all-4.5.0/store/consumequeue 
#index目录路径 
storePathIndex=/usr/local/rocketmq-all-4.5.0/store/index
#checkpoint文件路径 
storeCheckpoint=/usr/local/rocketmq-all-4.5.0/store/checkpoint 
#abort文件路径 
abortFile=/usr/local/rocketmq-all-4.5.0/store/abort 
#指定消息的最大大小 
maxMessageSize=65536
#Broker的角色 
# - ASYNC_MASTER 异步复制Master 
# - SYNC_MASTER 同步双写Master 
# - SLAVE
brokerRole=SYNC_MASTER 
#刷盘策略 
# - ASYNC_FLUSH 异步刷盘 
# - SYNC_FLUSH 同步刷盘 
flushDiskType=SYNC_FLUSH 
#发消息线程池数量 
sendMessageThreadPoolNums=128 
#拉消息线程池数量 
pullMessageThreadPoolNums=128 
#强制指定本机IP,需要根据每台机器进行修改。官方介绍可为空,系统默认自动识别,但多网卡 时IP地址可能读取错误 
brokerIP1=192.168.3.105

四、准备rocketmqOS2主机

准备rocketmqOS1主机,并修改配置。指定主机名为rocketmqOS2。

五、修改rocketmqOS2配置文件

        对于rocketmqOS2 主机,同样需要修改 rocketMQ 解压目录的 conf 目录的子目录 2m-2s-async 中的两个配置文件。

修改broker-b.properties

将该配置文件内容修改为如下:
brokerClusterName=DefaultCluster 
brokerName=broker-b 
brokerId=0 
deleteWhen=04 
fileReservedTime=48 
brokerRole=ASYNC_MASTER 
flushDiskType=ASYNC_FLUSH 
namesrvAddr=192.168.59.164:9876;192.168.59.165:9876

修改broker-a-s.properties

将该配置文件内容修改为如下:
brokerClusterName=DefaultCluster 
brokerName=broker-a 
brokerId=1 
deleteWhen=04 
fileReservedTime=48 
brokerRole=SLAVE 
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.59.164:9876;192.168.59.165:9876 
listenPort=11911 
storePathRootDir=~/store-s 
storePathCommitLog=~/store-s/commitlog 
storePathConsumeQueue=~/store-s/consumequeue 
storePathIndex=~/store-s/index 
storeCheckpoint=~/store-s/checkpoint 
abortFile=~/store-s/abort

六、启动服务器

启动NameServer集群

分别启动 rocketmqOS1 与 rocketmqOS2 两个主机中的 NameServer 。启动命令完全相同。
nohup sh bin/mqnamesrv & 
tail -f ~/logs/rocketmqlogs/namesrv.log

启动两个Master

        分别启动rocketmqOS1 与 rocketmqOS2 两个主机中的 broker master 。注意,它们指定所要加载的配置文件是不同的。
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a.properties & 
tail -f ~/logs/rocketmqlogs/broker.log
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b.properties & 
tail -f ~/logs/rocketmqlogs/broker.log

启动两个Slave

        分别启动rocketmqOS1 与 rocketmqOS2 两个主机中的 broker slave 。注意,它们指定所要加载的配置文件是不同的。
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b-s.properties & 
tail -f ~/logs/rocketmqlogs/broker.log
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a-s.properties & 
tail -f ~/logs/rocketmqlogs/broker.log

七、mqadmin命令

运维专用命令,后续再出

标签:配置文件,手把手,broker,指定,集群,RocketMQ,properties,store
来源: https://blog.csdn.net/A_art_xiang/article/details/122488356

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有