ICode9

精准搜索请尝试: 精确搜索
首页 > 系统相关> 文章详细

linux下部署kafka集群

2022-09-14 17:33:37  阅读:286  来源: 互联网

标签:-- zookeeper 192.168 kafka 2181 集群 linux 48.133


一、环境

系统:CentOS Linux release 7.9.2009 (Core)

zookeeper:3.6

kafka:kafka_2.13-2.8.0

二、部署

zookeeper部署详见:https://www.cnblogs.com/sxFu/p/16017975.html

下载kafka:http://kafka.apache.org/downloads

节点:

192.168.48.133 192.168.48.159 192.168.49.67

把下载的 kafka_2.13-2.8.0.tgz 包上传至 192.168.48.133 节点 /opt/app

解压:tar -xf kafka_2.13-2.8.0.tgz

改名:mv kafka_2.13-2.8.0 kafka

修改配置文件:

# broker.id唯一,分别设置为0、1、2
broker.id=0
# listeners:定义外部连接着通过指定主机名和端口号访问开发的kafka服务(替换host.name和port参数)
listeners=PLAINTEXT://192.168.48.133:9092
# log.dirs:kafka日志存放目录
log.dirs=/opt/app/kafka/logs
# zookeeper.connect:配置zookeeper集群地址
zookeeper.connect=192.168.48.133:2181,192.168.48.159:2181,192.168.49.67:2181

修改后分发至另外两个节点并修改broker.id与listeners

scp -r kafka/ 192.168.48.159:/opt/app/  
broker.id=1    listeners=PLAINTEXT://192.168.48.159:9092
scp -r kafka/ 192.168.49.67:/opt/app/
broker.id=2    listeners=PLAINTEXT://192.168.49.67:9092

配置环境变量:

# 三台节点都要配置
vi ~/.bash_profile export KAFKA_HOME=/opt/app/kafka export PATH=$KAFKA_HOME/bin:$PATH
# 使其生效
source ~/.bash_profile

启动kafka集群,启动前确保zookeeper集群启动正常:

kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties &

启动后查看端口以及进程

三、验证集群是否正常

随便找台节点进入kafka安装程序的bin文件夹中,创建主题

./kafka-topics.sh --create --zookeeper 192.168.48.133:2181,192.168.48.159:2181,192.168.49.67:2181 --topic test --partitions 3 --replication-factor 1

查看创建的topic

./kafka-topics.sh --zookeeper 192.168.48.133:2181,192.168.48.159:2181,192.168.49.67:2181 --list

找台节点测试生产者

./kafka-console-producer.sh --broker-list 192.168.48.133:9092,192.168.48.159:9092,192.168.49.67:9092 --topic test

找台节点测试消费者

写文章之前验证过,所以多了两条消息记录,在验证另外一台节点

自此可证明搭建的kafka集群可正常使用。

 

 

 


 

标签:--,zookeeper,192.168,kafka,2181,集群,linux,48.133
来源: https://www.cnblogs.com/sxFu/p/16693840.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有