消息队列之 kafka 集群搭建

2021-09-21 21:00:10 阅读：209 来源： 互联网

标签：opt jdk 队列 zookeeper server manager 集群 kafka

我们先弄清楚kafka集群环境首先需要些什么

JDK 10+
Zookeeper
Kafka 2.x

首先准备三台虚拟机 centos7 ，更改IP地址为静态地址分别为，29、30.31

cd /etc/sysconfig/network-scripts #进入网卡文件目录
vim ifcfg-ens33 #使用vim编辑器编辑该网卡信息（需要编辑当前链接的网卡）

service network restart #重启网卡服务，依次配置好三台linux的IP地址保证能够相互通信

先安装java jdk

下载

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.rpm

授权限

chmod +x jdk-8u131-linux-x64.rpm

安装

rpm -ivh jdk-8u131-linux-x64.rpm

检查是否安装成功

再安装zookeeper ,29.30.31 三台机器需要如下同样的方式安装 zookeeper 形成 zookeeper 集群

下载zookeeper并解压官网推荐下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/
tar -zxvf zookeeper-3.4.14.tar.gz -C /opt/ 　　　　//这里解压至/opt目录中使用
cp zoo_sample.cfg zoo.cfg //进入/opt/zookeeper-3.4.14/conf/目录，先拷贝一份配置文件
然后vim编辑zoo.cfg
说明：除了修改zoo.cfg文件外还需要在这个文件中指定的data目录下新增一个 myid 的文件，这个文件里面就只有一个数据，就是上图中配置的 server.x 这个x的值（29,30,31）zookeeper启动时会以此来确定自己的节点标识

切换到 zookeeper 的bin文件夹下，启动三台机器的zookeeper

./zkServer.sh start

启动后发现每台机器的运行模式仍然为单机模式，“试试关闭防火墙然后重新启动”
systemctl stop firewalld.service //关闭防火墙
systemctl disable firewalld.service //禁止开机启动

重启zookeeper后再次查看zookeeper的状态，你会发现，一台leader 两台 follower，说明到此我们的zookeeper安装成功

这里终端工具我使用的是 MobaXterm 可以同时多台机器输入同样的shell命令，操作起来相当方便，建议使用

现在我们开始正式安装kafka

下载kafka并解压下载地址 http://kafka.apache.org/
tar zxvf kafka_2.13-2.5.0.tgz -C /opt/
进入 /opt/kafka_2.13-2.5.0/ 进入到config目录，编辑配置文件：server.properties
三台机器配置信息修改完成之后启动 kafka , -daemon 为后台启动

启动命令 ./kafka-server-start.sh -daemon ../config/server.properties
停止命令 ./kafka-server-stop.sh

检查测试

我们先切回到 zookeeper 的bin 文件夹下，使用zookeeper的客户端工具查看
./zkCli.sh -server 192.168.3.29:2181 随意链接其中的一个节点（能链接上去，且输入 ls / 出现不少信息说明安装已经成功，但看不到我们想要看的信息，不慌，继续

这里我们介绍另一款工具 kafka-manager-1.3.3.7.zip，自行下载（https://github.com/yahoo/kafka-manager ），上传至任意一台机器，然后解压修改配置文件 application.conf

保存后，进入kafka-manager/bin目录下，执行运行命令 ./kafka-manager 默认端口为 9000 可以使用以下命令指定配置文件和端口运行
./kafka-manager -Dconfig.file=./config/application.conf -Dhttp.port=9000

当然也可以使用 nohup & 的形式后台运行

我们可以看到，正在启动 kafka-manager 并在同步状态了，我们到浏览器访问 http://192.168.3.29:9000/

添加集群

到此，kafka集群搭建算是完成，后续，我们针对net5来使用kafka做一些demo程序，来试试kafka

标签：opt,jdk,队列,zookeeper,server,manager,集群,kafka
来源： https://www.cnblogs.com/rtwo/p/15317802.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9