Kafka 安装和配置

2022-05-15 17:35:00 阅读：188 来源： 互联网

标签：Zookeeper -- 配置 kafka topic sh zookeeper Kafka 安装

一、Java 环境安装

上传jdk-8u261-linux-x64.rpm到服务器并安装：

rpm -ivh jdk-8u261-linux-x64.rpm

配置环境变量：

vim /etc/profile

export JAVA_HOME=/usr/src/jdk1.8.0_271
export PATH=$PATH:$JAVA_HOME/bin

生效：
. /etc/profile
验证：
java -version

二、Zookeeper的安装配置

上传zookeeper-3.4.14.tar.gz到服务器，我这里上传并解压到/usr/src 目录下

tar -zxf zookeeper-3.4.14.tar.gz
cd /usr/src/zookeeper-3.4.14/conf
# 复制zoo_sample.cfg命名为zoo.cfg
cp zoo_sample.cfg zoo.cfg
# 编辑zoo.cfg⽂件
vim zoo.cfg

修改Zookeeper保存数据的⽬录，dataDir：

dataDir=/usr/src/zookeeper-3.4.14/data

编辑/etc/profile：

设置环境变量ZOO_LOG_DIR，指定Zookeeper保存⽇志的位置；
ZOOKEEPER_PREFIX指向Zookeeper的解压⽬录；
将Zookeeper的bin⽬录添加到PATH中：

export ZOOKEEPER_PREFIX=/usr/src/zookeeper-3.4.14
export PATH=$PATH:$ZOOKEEPER_PREFIX/bin
export ZOO_LOG_DIR=/usr/src/zookeeper-3.4.14/log

使配置⽣效：

生效：
. /etc/profile


验证：
zkServer.sh

三、Kafka的安装与配置

上传kafka_2.12-1.0.2.tgz到服务器并解压：

tar -zxf kafka_2.12-1.0.2.tgz

配置环境变量并⽣效：

vim /etc/profile

export KAFKA_HOME=/usr/src/kafka_2.12-1.0.2
export PATH=$PATH:$KAFKA_HOME/bin

生效：
. /etc/profile

配置 /usr/src/kafka_2.12-1.0.2/config 中的server.properties⽂件：

Kafka连接Zookeeper的地址，此处使⽤本地启动的Zookeeper实例，连接地址是localhost:2181，后⾯的myKafka是Kafka在Zookeeper中的根节点路径：

# 放开Kafka的监听
advertised.listeners=PLAINTEXT://134.175.135.19:9092
# Kafka数据存放路径
log.dirs=/usr/src/kafka_2.12-1.0.2/logs
# 连接的 Zookeeper 地址，多个用逗号隔开
zookeeper.connect=localhost:2181/myKafka

启动Zookeeper：

zkServer.sh start

确认Zookeeper的状态：

启动Kafka（进⼊Kafka安装的根⽬录，执⾏如下命令）：

[root@VM-0-10-centos kafka_2.12-1.0.2]# pwd
/usr/src/kafka_2.12-1.0.2
[root@VM-0-10-centos kafka_2.12-1.0.2]# kafka-server-start.sh config/server.properties

启动成功，可以看到控制台输出的最后⼀⾏的started状态：

查看Zookeeper的节点：

# 连接Zookeeper客户端
[root@VM-0-10-centos ~]# zkCli.sh -server localhost:2181

此时Kafka是前台模式启动，要停⽌，使⽤Ctrl+C。如果要后台启动，使⽤命令：

kafka-server-start.sh -daemon config/server.properties

查看Kafka的后台进程：

ps aux | grep kafka

停⽌后台运⾏的Kafka：

三、生产与消费

kafka-topics.sh ⽤于管理主题：

# 列出现有的主题
[root@VM-0-10-centos ~]# kafka-topics.sh --list --zookeeper localhost:2181/myKafka

# 创建主题，该主题包含⼀个分区，该分区为Leader分区，它没有Follower分区副本。
[root@VM-0-10-centos ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --create --topic topic_1 --partitions 1 --replication-factor 1

# 查看分区信息
[root@VM-0-10-centos ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --list

# 查看指定主题的详细信息
[root@VM-0-10-centos ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --describe --topic topic_1

# 删除指定主题
[root@VM-0-10-centos ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --delete --topic topic_1

kafka-console-producer.sh⽤于⽣产消息：

# 开启⽣产者
[root@VM-0-10-centos ~]# kafka-console-producer.sh --topic topic_1 --broker-list localhost:9092

kafka-console-consumer.sh⽤于消费消息：

# 开启消费者
[root@VM-0-10-centos ~]# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1

# 开启消费者⽅式⼆，从头消费，不按照偏移量消费
[root@VM-0-10-centos ~]# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1 --from-beginning

标签：Zookeeper,--,配置,kafka,topic,sh,zookeeper,Kafka,安装
来源： https://www.cnblogs.com/fanchengmeng/p/16273737.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

Kafka 安装和配置

一、Java 环境安装

二、Zookeeper的安装配置

三、Kafka的安装与配置

三、生产与消费