首页 > 数据库> 文章详细

大型数据库（8）--- Kafka安装与配置

2021-09-20 18:32:36 阅读：210 来源： 互联网

标签：数据库 Hadoop hadoop kafka --- 2.8 master Kafka 2.13

安装说明

安装环境

虚拟机：VirtualBox-6.1.18
操作系统：Ubuntu16.04LTS
集群情况：

主机名称	Hadoop版本	ZooKeeper版本	IP地址
hadoop-master	2.7.3	3.6.3	192.168.56.1
hadoop-slave1	2.7.3	3.6.3	192.168.56.1
hadoop-slave2	2.7.3	3.6.3	192.168.56.1

本次安装的Kafka

Kafka版本：2.13-2.8.0
下载地址：kafka_2.13-2.8.1.tgz
其他：Kafka官网、查看不同版本、官方文档

都准备就绪后，我们就接着往下开始安装吧！
不知道怎么准备的，我之前的文章也许可以给你带来一些参考哦 - - - ☞ 搭建hadoop集群
 大型数据库（6）— ZooKeeper安装与配置.

开始安装

我的两个基础软件Hadoop、Java 分别是在 /usr/hadoop 和 /usr/java下
其他的都安装在 ~/Hadoop 的文件夹下
Kafka 不仅需安装在hadoop-master下，还需部署在slave机上

安装并配置Kafka

1. 解压

$ cd ~/下载
$ cp kafka_2.13-2.8.0.tgz ~/Hadoop
$ cd ~/Hadoop
$ tar -zxvf kafka_2.13-2.8.0.tgz
$ cd kafka_2.13-2.8.0/conf

2. 配置

2.1 server.properties

// 将此处的注释去掉
listeners=PLAINTEXT://hadoop-master:9092

// Zookeeper中的设置改为：
zookeeper.connect=hadoop-master:2181,hadoop-slave1:2181,hadoop-slave2:2181

2.2 本机测试

// 建议将master和slave都先开启zookeeper
此时，您可以在master主机上，稍微试试水…

$ ~/Hadoop/kafka_2.13-2.8.0/bin
$ ./kafka-server-start.sh ../config/server.properties &

打印完一堆东西后，回车输入 $ jps 将会看到

这样，你的master机基本上就配置好了！
我们先将其停掉 $ ./kafka-server-stop.sh，继续往后配置！

3. 将Kafka安装文件复制到Slave节点

$ cd ~/Hadoop
$ scp -r kafka_2.13-2.8.0/ hadoop-slave1:~/Hadoop/
$ scp -r kafka_2.13-2.8.0/ hadoop-slave2:~/Hadoop/

3.1 更改 slave 机上的 broker.id 值

注：hadoop-master 中的 broker.id 默认应该为 0

进入到 hadoop-slave1: ~/Hadoop/kafka_2.13-2.8.0/config 将 server.properties 更改以下内容：

broker.id=1

进入到 hadoop-slave2: ~/Hadoop/kafka_2.13-2.8.0/config 将 server.properties 更改以下内容：

broker.id=2

启动Kafka

在各个机器上执行该命令，都应该能执行成功哦~ （不行的往下看其他部分）

$ ~/Hadoop/kafka_2.13-2.8.0/bin
$ ./kafka-server-start.sh ../config/server.properties &

成功启动后，都应该能看到 Kafka

在 Master 上

// 创建一个topic
$ ./kafka-topics.sh --create -zookeeper hadoop-master:2181 -replication-factor 1 -partitions 1 -topic test

// 查看刚刚创建的topic
$ ./kafka-topics.sh --list --zookeeper hadoop-master:2181

// 开启生产者，发送消息
$ ./kafka-console-producer.sh --broker-list hadoop-master:9092 --topic test

在 Slave 上

// 开启消费者，接收消息
$ ./kafka-console-producer.sh --broker-list hadoop-master:9092 --topic test

回到 Master 上，输入 ‘Hello World’ 见证历史吧！
在这里插入图片描述

其他

1. 启动时 zookeeper 报错

出现了这一堆的报错时…(我是在slave上发现这个问题)
在这里插入图片描述
是你Kafka运行的 zookeeper 版本不一样所导致的
首先看看最上面的打印的版本是什么

再看看master上正常启动时的版本
master正常启动
再对比 ~/Hadoop/kafka_2.13-2.8.0/libs 下 zookeeper 的 jar 包的版本
然后根据下面 path 把不能启动的机器下的不同版本的 zookeeper的jar包删掉即可
嗯…没错…就是这样…(我就是把它复制出来，匹配zookeeper一个个看…)
path
我的话…在 $HADOOP_HOME/share/hadoop/common/lib下有一个
在 $HADOOP_HOME/share/hadoop/yarn/lib下也有一个
我的 slave 是把这两个删掉就可以正常启动了

2. 启动时 Cluster ID 报错

Cluster ID
这个只需要打开 $ /home/xld/test/kafka_2.13-2.8.0/config/server.properties 查看 log.dirs
将该路径下的文件夹删除，然后重启即可…
如：log.dirs=/tmp/kafka-logs 直接将 /tmp 目录下的 kafka-logs 这个文件夹整个直接删掉即可

3. 创建topic时失败

显示超时

很有可能是你 master 机的 zookeeper 还没启动哦~
把 zookeeper 启动后再试试就好了。

4. 其他骚话…

他说的是2.8之后的版本去掉自带的zookeeper，但我这发现他还是依赖运行 kafka 下的 libs 下的 jar 包，就很迷…大概是我不会弄吧…

还有就是，我发现 slave 接收信息，不开启 kafka.server 也可以…只是会多出一个 ConsoleConsumer 的玩意…
在这里插入图片描述
没搞明白…糊里糊涂，半桶水…

参考文章：
Kafka安装配置
 kafka的安装和配置

标签：数据库,Hadoop,hadoop,kafka,---,2.8,master,Kafka,2.13
来源： https://blog.csdn.net/li1055107552/article/details/120391865

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9