首页 > 其他分享> 文章详细

kafka环境搭建

2021-05-08 13:34:43 阅读：154 来源： 互联网

标签：-- 环境 kafka topic 172.16 server root 搭建

kafka需要zookeeper

安装zookeeper地址：

https://www.cnblogs.com/nanxiang/p/14051057.html

三台服务器：

172.16.252.128

172.16.252.129

172.16.252.130

官网地址：

https://kafka.apache.org/downloads

下载地址：

https://downloads.apache.org/kafka/2.8.0/kafka_2.12-2.8.0.tgz

wget https://downloads.apache.org/kafka/2.8.0/kafka_2.12-2.8.0.tgz
tar xvf kafka_2.12-2.8.0.tgz -C /usr/local/
mv /usr/local/kafka_2.12-2.8.0/ /usr/local/kafka
mkdir -p /usr/local/kafka/data

修改配置文件：

 vi /usr/local/kafka/config/server.properties 
broker.id=128  #写成IP地址尾数，每个服务器不一样
listeners=PLAINTEXT://172.16.252.130:9092. #写成本机ip地址，每个服务器不一样
log.dirs=/usr/local/kafka/data
zookeeper.connect=172.16.252.128:2181,172.16.252.129:2181,172.16.252.130:2181

发送到其它服务器

scp -r kafka/ root@172.16.252.129:/usr/local/
scp -r kafka/ root@172.16.252.130:/usr/local/

并修改这两个服务器的server.properties配置文件中的broker.id

启动

[root@localhost kafka]# bin/kafka-server-start.sh config/server.properties 
[root@localhost kafka]# bin/kafka-server-start.sh -daemon config/server.properties ---以守护进程方式启动

关闭

[root@localhost kafka]# bin/kafka-server-stop.sh

kafka命令操作：
查看服务器中所有topic
[root@localhost kafka]# bin/kafka-topics.sh --zookeeper 172.16.252.128:2181 --list

创建topic
[root@localhost kafka]# bin/kafka-topics.sh --zookeeper 172.16.252.128:2181 --create --replication-factor 3 --partitions 1 --topic first
选项说明：
--topic 定义topic名称
--replication-factor 定义副本数
--partitons 定义分区数

删除topic
[root@localhost kafka]# bin/kafka-topics.sh --zookeeper 172.16.252.128:2181 --delete --topic first

查看topic描述
[root@localhost kafka]# bin/kafka-topics.sh --zookeeper 172.16.252.128:2181 --describe --topic first

生产者和消费者
生产者：
[root@localhost kafka]# bin/kafka-console-producer.sh --topic first --broker-list 172.16.252.128:9092
--broker-list 参数已经弃用，改用--bootstrap-server
[root@localhost kafka]# kafka-console-producer.sh --topic first --bootstrap-server 172.16.252.128:9092
>czg
>

消费者：
[root@localhost ~]# kafka-console-consumer.sh --topic first --bootstrap-server 172.16.252.128:9092 --from-beginning
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
czg

标签：--,环境,kafka,topic,172.16,server,root,搭建
来源： https://www.cnblogs.com/nanxiang/p/14742479.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

kafka环境搭建