ICode9

精准搜索请尝试: 精确搜索
首页 > 系统相关> 文章详细

centos8 kafka集群安装

2022-01-15 16:02:35  阅读:195  来源: 互联网

标签:opt zookeeper 192.168 kafka 3.7 集群 data centos8


##kafka运行涉及zookeeper,kafka和zookeeper都运行在jvm之上。

###准备三台服务器,ip地址如下:
192.168.137.31
192.168.137.32
192.168.137.33

jdk安装

安装jdk8或者以上版本,详细步骤网上很多教程可以参考

zookeeper安装

  1. 下载zookeeper
     wget https://dlcdn.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz
    
  2. 解压zookeeper
     tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz
    
  3. 移动解压后文件夹至/opt 同时重命名文件夹名称为 zookeeper-3.7
    mv apache-zookeeper-3.7.0-bin /opt/zookeeper-3.7
    
  4. 向/etc/profile文件追加环境变量,并使配置生效
    echo 'export ZOOKEEPER_HOME=/opt/zookeeper-3.7' >> /etc/profile
    echo 'export PATH=$PATH:$ZOOKEEPER_HOME/bin' >> /etc/profile
    source /etc/profile
    
  5. 编辑配置文件 zoo.cfg
    cd /opt/zookeeper-3.7/conf/
    vim zoo.cfg 
    输入以下内容 
    
    # 服务器心跳时间,单位ms
    tickTime=2000
    # 允许follower连接并同步到leader的初始化连接时间,以tickTime倍数表示
    initLimit=10
    # leader与follwer心跳检测最大容忍时间
    # 超过 tickTime*syncLimit ,判断follower离线
    syncLimit=5
    # 数据目录
    dataDir=/data/zookeeper/data
    # 日志目录
    dateLogDir=/data/zookeeper/log
    # 对外服务端口
    clientPort=2181
    ## 集群配置
    server.1=192.168.137.31:2888:3888
    server.2=192.168.137.32:2888:3888
    server.3=192.168.137.33:2888:3888
    
  6. 创建zookeeper数据目录
    mkdir -p /data/zookeeper/data
    mkdir -p /data/zookeeper/log
    
  7. 创建myid文件,写入服务器编号
    服务器1执行  192.168.137.31 
    echo 1 > /data/zookeeper/data/myid
    服务器2执行  192.168.137.32
    echo 2 > /data/zookeeper/data/myid
    服务器3执行  192.168.137.33 
    echo 3 > /data/zookeeper/data/myid
    
  8. 启动zookeeper
    cd /opt/zookeeper-3.7/bin/; ./zkServer.sh start
    
  9. 查看服务器状态
    ./zkServer.sh status
    

kafka安装

  1. 下载kafka
    wget https://dlcdn.apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz
    
  2. 解压kafka
     tar -zxvf kafka_2.13-3.0.0.tgz
    
  3. 移动解压后文件夹至/opt 同时重命名文件夹名称为 zookeeper-3.7
    mv kafka_2.13-3.0.0 /opt/
    
  4. 向/etc/profile文件追加环境变量,并使配置生效
    echo 'export KAFKA_HOME=/opt/kafka_2.13-3.0.0' >> /etc/profile
    echo 'export PATH=$PATH:$KAFKA_HOME/bin' >> /etc/profile
    source /etc/profile
    
  5. 编辑配置文件
    cd /opt/kafka_2.13-3.0.0/config/
    vim server.properties 
    重点修改以下参数
    # broker编号,保证每台机器值不同。第一台机器0,第二台机器1,第三台机器2
    broker.id=0
    # broker对外提供服务的入口地址 注意改为本机ip
    listeners=PLAINTEXT://192.168.137.31:9092
    # 存放消息日志文件 不要使用默认值,会丢失数据
    log.dirs=/data/kafka-logs
    # zookeeper集群地址
    zookeeper.connect=192.168.137.31:2181,192.168.137.32:2181,192.168.137.33:2181
    
  6. 创建kafka-logs数据目录
    mkdir -p /data/kafka-logs
    
  7. 启动kafka,需要首先启动zookeeper集群
    cd /opt/kafka_2.13-3.0.0/bin/; ./kafka-server-start.sh -daemon ../config/server.properties
    

标签:opt,zookeeper,192.168,kafka,3.7,集群,data,centos8
来源: https://blog.csdn.net/weixin_43770790/article/details/122511377

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有