ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

Kafka集群安装部署

2021-06-20 15:04:29  阅读:210  来源: 互联网

标签:broker 部署 指定 bigdata kafka 2181 集群 install Kafka


1 集群安装部署

  • 1、下载安装包(http://kafka.apache.org

    kafka_2.11-1.1.0.tgz
    
  • 2、规划安装目录

    /bigdata/install
    
  • 3、上传安装包到服务器中

    通过FTP工具上传安装包到node01服务器上
    
  • 4、解压安装包到指定规划目录

    tar -zxvf kafka_2.11-1.1.0.tgz -C /bigdata/install
    
  • 5、重命名解压目录

    mv kafka_2.11-1.1.0 kafka
    
  • 6、在hadoop01上修改配置文件

    • 进入到kafka安装目录下有一个config目录,修改配置信息 vi server.properties

      #指定kafka对应的broker id ,唯一
      broker.id=0
      #指定数据存放的目录
      log.dirs=/bigdata/install/kafka/kafka-logs
      #指定zk地址
      zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181
      #指定是否可以删除topic ,默认是false 表示不可以删除
      delete.topic.enable=true
      #指定broker主机名
      host.name=hadoop01
      
    • 配置kafka环境变量 sudo vi /etc/profile

      export KAFKA_HOME=/bigdata/install/kafka
      export PATH=$PATH:$KAFKA_HOME/bin
      
  • 6、分发kafka安装目录到其他节点

    scp -r kafka hadoop02:/bigdata/install
    scp -r kafka hadoop03:/bigdata/install
    
    ## hadoop02/hadoop03上都加上环境变量
    export KAFKA_HOME=/bigdata/install/kafka
    export PATH=$PATH:$KAFKA_HOME/bin
    
  • 7、修改hadoop02和hadoop03上的配置

    • hadoop02 上修改配置文件 vi server.properties

      #指定kafka对应的broker id ,唯一
      broker.id=1
      #指定数据存放的目录
      log.dirs=/bigdata/install/kafka/kafka-logs
      #指定zk地址
      zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181
      #指定是否可以删除topic ,默认是false 表示不可以删除
      delete.topic.enable=true
      #指定broker主机名
      host.name=hadoop02
      
    • hadoop03 上修改配置文件 vi server.properties

      #指定kafka对应的broker id ,唯一
      broker.id=2
      #指定数据存放的目录
      log.dirs=/bigdata/install/kafka/kafka-logs
      #指定zk地址
      zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181
      #指定是否可以删除topic ,默认是false 表示不可以删除
      delete.topic.enable=true
      #指定broker主机名
      host.name=hadoop03
      
  • 8、让每台节点的kafka环境变量生效

    • 在每台服务器执行命令

      source /etc/profile
      

2 kafka集群启动和停止

  • 1、启动kafka集群

    • 先启动zookeeper集群,然后在所有节点如下执行脚本

      nohup kafka-server-start.sh /bigdata/install/kafka/config/server.properties >/dev/null 2>&1 &
      
  • 2、停止kafka集群

    • 所有节点执行关闭kafka脚本

      kafka-server-stop.sh
      

标签:broker,部署,指定,bigdata,kafka,2181,集群,install,Kafka
来源: https://www.cnblogs.com/tenic/p/14906785.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有