（2）Kafka的搭建、启动、测试

2022-04-07 11:02:12 阅读：185 来源： 互联网

标签：-- soft kafka usr 测试 Kafka local 2.11 搭建

Kafka的搭建、启动、测试

Kafka的搭建、启动、测试

一、kafka的搭建

1、上传压缩包到任意节点
2、解压，配置环境变量所有节点都配置

#解压
cd /usr/local/soft
tar -xvf kafka_2.11-1.0.0.tgz

#配置环境变量
cd /usr/local/soft/kafka_2.11-1.0.0
vim /etc/profile
#添加
export KAFKA_HOME=/usr/local/soft/kafka_2.11-1.0.0
export PATH=$KAFKA_HOME/bin:$PATH

source /etc/profile

3、修改配置文件

cd /usr/local/soft/kafka_2.11-1.0.0/config
vim server.properties

#每一个节点broker.id 要不一样
broker.id=0
#修改zk的连接
zookeeper.connect=master:2181,node1:2181,node2:2181
#消息(数据)存放的位置
log.dirs=/usr/local/soft/kafka_2.11-1.0.0/data

4、复制到其它节点 -- 伪分布式不需要

cd /usr/local/soft/

scp -r kafka_2.11-1.0.0 node2:`pwd`
scp -r kafka_2.11-1.0.0 node1:`pwd`

5、修改每个节点的配置文件 -- 伪分布式不需要

#node1
cd /usr/local/soft/kafka_2.11-1.0.0/config
vim server.properties
#修改
broker.id=1

#node2
cd /usr/local/soft/kafka_2.11-1.0.0/config
vim server.properties
#修改
broker.id=2

#将master的环境变量同步到node1,node2
cd /usr/local/soft/
scp -r /etc/profile node1:/etc/
scp -r /etc/profile node2:/etc/

在node1,node2中source
source /etc/profile

二、kafka的启动

1、启动kafka之前需要先启动zookeeper

#启动zookeeper，需要在所有节点启动
zkServer.sh start

#查看zk的状态
#如果master中含有leader、node1和node2中含有follower，说明zk启动成功
zkServer.sh status

2、启动kafka

#kafka是去中心化的架构，需要在每台节点启动
# -daemon 后台启动
kafka-server-start.sh -daemon  /usr/local/soft/kafka_2.11-1.0.0/config/server.properties

#启动之后，jps查看进程，进程中会有Kafka

三、测试kafka

1、创建topic

# --replication-factor  ---指定每一个分区的副本数量
# --partition   --指定分区数，根据数据量设置
# --topic test_topic2	--指定topic的名称

kafka-topics.sh --create --zookeeper master:2181,node1:2181,node2:2181 --replication-factor 3 --partitions 3 --topic test_topic2

2、查看topic描述信息

kafka-topics.sh --describe  --zookeeper master:2181,node1:2181,node2:2181 --topic test_topic2

#结果
Topic:test_topic2	PartitionCount:3	ReplicationFactor:3	Configs:
Topic: test_topic2	Partition: 0	Leader: 1	Replicas: 1,2,0	Isr: 1,2,0
Topic: test_topic2	Partition: 1	Leader: 2	Replicas: 2,0,1	Isr: 2,0,1
Topic: test_topic2	Partition: 2	Leader: 0	Replicas: 0,1,2	Isr: 0,1,2

3、查看所有的topic

kafka-topics.sh --list  --zookeeper  master:2181,node1:2181,node2:2181

4、创建控制台生产者

kafka-console-producer.sh --broker-list master:9092,node1:9092,node2:9092 --topic test_topic2

# 返回一个符号，就可以输入数据了
> 输入数据

# 生产的数据在 /usr/local/soft/kafka_2.11-1.0.0/data

5、创建控制台消费者

# --from-beginning	从头消费，如果不在执行消费的新的数据
# 将该命令换一个节点执行，便于观看生产与消费
kafka-console-consumer.sh --bootstrap-server  master:9092,node1:9092,node2:9092 --from-beginning --topic test_topic2

#一边生产一边消费，实时对应

四、如果kafka出问题了，那么就重置kafka

1、关闭kafka

kill -9

2、删除元数据 zk

zkCli.sh
# 删除预kafka有关的所有信息
ls /
rmr /config
rmr /brokers

3、删除kafka的数据所有节点都要删除

rm -rf /usr/local/soft/kafka_2.11-1.0.0/data

4 重启

kafka-server-start.sh -daemon  /usr/local/soft/kafka_2.11-1.0.0/config/server.properties

标签：--,soft,kafka,usr,测试,Kafka,local,2.11,搭建
来源： https://www.cnblogs.com/saowei/p/16111214.html