ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

KAFKA最新版 3.0.0集群部署测试

2022-01-09 17:35:03  阅读:164  来源: 互联网

标签:KAFKA kafka1 zookeeper kafka 3.0 最新版 root 2.12


关于kafka的信息可以参考官方文档:  https://kafka.apache.org/documentation/ (如果英文不好直接右击翻译成中文就可以,比看网上一堆文章都强)

环境信息:
IP 角色
10.0.83.71 zookeeper、kafka
10.0.83.72 zookeeper、kafka
10.0.83.73 zookeeper、kafka
先把主机名改掉, 分别到3台机器上改自己的:

hostnamectl set-hostname kafka1
hostnamectl set-hostname kafka2
hostnamectl set-hostname kafka3


### 到3台机器上编辑/etc/hosts文件
10.0.83.71 kafka1
10.0.83.72 kafka2
10.0.83.73 kafka3
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
分别到3台机器上安装java8
yum -y install java-1.8.0-openjdk-devel
1.
关掉防火墙(如果不关,等下把集群通讯的8182,8183,8184几个开放也可以)
[root@kafka1 ~]# systemctl stop firewalld
[root@kafka2 ~]# systemctl stop firewalld
[root@kafka3 ~]# systemctl stop firewalld
1.
2.
3.
 https://www.apache.org/dyn/closer.cgi?path=/kafka/3.0.0/kafka_2.12-3.0.0.tgz

下载kafka,并修改配置文件
 https://dlcdn.apache.org/kafka/3.0.0/kafka_2.12-3.0.0.tgz

tar zxvf kafka_2.12-3.0.0.tgz -C /opt/

cd /opt/kafka_2.12-3.0.0/config/

配置zookeeper集群,修改配置文件zookeeper.properties
vim zookeeper.properties
tickTime=2000
initLimit=20
syncLimit=10
server.1=10.0.83.71:2182:2183
server.2=10.0.83.72:2182:2183
server.3=10.0.83.73:2182:2183
1.
2.
3.
4.
5.
6.
7.
tickTime: 这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳

nitLimit:这个配置项是用来配置 Zookeeper 接受客户端(这里所说的客户端不是用户连接 Zookeeper 服务器的客户端,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 5个心跳的时间(也就是 tickTime)长度后 Zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 5*2000=10 秒

syncLimit:这个配置项标识 Leader 与Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总的时间长度就是5*2000=10秒

clientPort:这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求

server.1 这个1是服务器的标识也可以是其他的数字, 表示这个是第几号服务器,用来标识服务器,这个标识要写到快照目录下面myid文件里

10.0.83.71为集群里的IP地址,第一个端口是master和slave之间的通信端口,默认是2182,第二个端口是leader选举的端口,集群刚启动的时候选举或者leader挂掉之后进行新的选举的端口默认是2183)

创建zookeeper所需的目录
分别在3个机器上执行:
第一台:

[root@kafka1 ~]# mkdir -p /data/zookeeper
[root@kafka1 ~]# echo "1" > /data/zookeeper/myid

1.
2.
3.
第二台:

[root@kafka2 ~]# mkdir -p /data/zookeeper
[root@kafka2 ~]# echo "2" > /data/zookeeper/myid
1.
2.
第三台:

[root@kafka3 ~]# mkdir -p /data/zookeeper
[root@kafka3 ~]# echo "3" > /data/zookeeper/myid
1.
2.
启动Zookeeper
[root@kafka1 ~]# cd /opt/kafka_2.12-3.0.0/
[root@kafka1 kafka_2.12-3.0.0]# ./bin/zookeeper-server-start.sh ./config/zookeeper.properties

[root@kafka2 ~]# cd /opt/kafka_2.12-3.0.0/
[root@kafka2 kafka_2.12-3.0.0]# ./bin/zookeeper-server-start.sh ./config/zookeeper.properties


[root@kafka3 ~]# cd /opt/kafka_2.12-3.0.0/
[root@kafka3 kafka_2.12-3.0.0]# ./bin/zookeeper-server-start.sh ./config/zookeeper.properties
1.
2.
3.
4.
5.
6.
7.
8.
9.
效果图:

 

配置Kafka集群环境
1)修改Kafka配置文件config/server.properties
注意注释掉所有节点的broker.id
[root@kafka2 ~]# cd /opt/kafka_2.12-3.0.0/
[root@kafka2 kafka_2.12-3.0.0]# vim config/server.properties
log.dirs=/data/kafka-logs
#broker.id=0
zookeeper.connect=kafka1:2181,kafka2:2181,kafka3:2181
listeners=PLAINTEXT://10.0.83.72:9092
advertised.listeners=PLAINTEXT://10.0.83.72:9092
1.
2.
3.
4.
5.
6.
7.
8.
创建日志目录:

mkdir -p /data/kafka-logs
1.
分别在3台机器上启动kafka

cd /opt/kafka_2.12-3.0.0
./bin/kafka-server-start.sh ./config/server.properties
1.
2.
启动之后如果不放心可以检查下zookeeper的2181和kafka的9092端口是否正常

[root@kafka3 kafka_2.12-3.0.0]# netstat -nlpt | grep -E "9092|2181"
tcp6 0 0 10.0.83.73:9092 :::* LISTEN 147669/java
tcp6 0 0 :::2181 :::* LISTEN 146348/java


[root@kafka1 kafka_2.12-3.0.0]# netstat -nlpt | grep -E "9092|2181"
tcp6 0 0 10.0.83.71:9092 :::* LISTEN 138011/java
tcp6 0 0 :::2181 :::* LISTEN 136719/java

[root@kafka2 kafka_2.12-3.0.0]# netstat -nlpt | grep -E "9092|2181"
tcp6 0 0 10.0.83.72:9092 :::* LISTEN 132679/java
tcp6 0 0 :::2181 :::* LISTEN 131438/java

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
创建topic测试:

[root@kafka1 kafka_2.12-3.0.0]# ./bin/kafka-topics.sh --create --bootstrap-server kafka1:9092 --replication-factor 1 --partitions 1 --topic tp1
Created topic tp1.
1.
2.
查看所有的topic

[root@kafka1 kafka_2.12-3.0.0]# ./bin/kafka-topics.sh --list --bootstrap-server kafka1:9092
tp1
1.
2.
模拟一个数据

[root@kafka1 kafka_2.12-3.0.0]# ./bin/kafka-console-producer.sh --bootstrap-server kafka1:9092 --topic tp1
>测试数据
>ceshi1
1.
2.
3.
起一个消费者:

[root@kafka1 kafka_2.12-3.0.0]# ./bin/kafka-console-consumer.sh --bootstrap-server kafka1:9092 --topic tp1

测试数据
ceshi1

1.
2.
3.
4.
5.
到这里kafka集群已经ok
把zookeeper和kafka做成系统服务并开机自动启动(可以把之前在终端执行的启动命令关了,不然起不来)
在3台机器上分别运行
[root@kafka1 ~]# mkdir /etc/cluster/
1.
创建zookeeper的service文件
[root@kafka1 cluster]# cat /etc/cluster/zookeeper.service

[Unit]
Description=zookeeper

[Service]
ExecStart=/opt/kafka_2.12-3.0.0/bin/zookeeper-server-start.sh /opt/kafka_2.12-3.0.0/config/zookeeper.properties
SyslogIdentifier=zookeeper

[Install]
WantedBy=multi-user.target
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
加为系统服务并开机启动
[root@kafka1 cluster]# ln -s /etc/cluster/zookeeper.service /lib/systemd/system

[root@kafka1 cluster]# systemctl start zookeeper

### 开机启动:
[root@kafka1 cluster]# systemctl enable zookeeper
1.
2.
3.
4.
5.
6.
设置kafka系统服务并开机启动
[root@kafka1 cluster]# cat /etc/cluster/kafka.service

[Unit]
Description=kafka

[Service]
ExecStart=/opt/kafka_2.12-3.0.0/bin/kafka-server-start.sh /opt/kafka_2.12-3.0.0/config/server.properties
SyslogIdentifier=kafka

[Install]
WantedBy=multi-user.target
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
设置开机启动
[root@kafka1 cluster]# ln -s /etc/cluster/kafka.service /lib/systemd/system/
[root@kafka1 cluster]# systemctl start kafka
[root@kafka1 cluster]# systemctl enable kafka
1.
2.
3.
查看服务状态:
[root@kafka1 cluster]# systemctl status kafka
● kafka.service - kafka
Loaded: loaded (/etc/cluster/kafka.service; enabled; vendor preset: disabled)
Active: active (running) since Sun 2021-12-05 20:49:52 EST; 45min ago
Main PID: 138011 (java)
Tasks: 74 (limit: 48706)
Memory: 383.6M

查看服务日志:
登录后复制
[root@kafka1 cluster]# journalctl -u kafka -f

标签:KAFKA,kafka1,zookeeper,kafka,3.0,最新版,root,2.12
来源: https://www.cnblogs.com/jxldjsn/p/15781432.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有