ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

kafka集群增加密码验证

2021-06-17 18:02:40  阅读:266  来源: 互联网

标签:opt 验证 -- zookeeper kafka sh 集群 config


    上一篇博客教会大家如何搭建kafka消息队列的集群,这一章增加kafka集群的密码验证,增加集群的安全性。

注:上一篇博客https://www.cnblogs.com/yclh/p/14769664.html

--------zoopkeeper改造---------
1、 修改zoopkeeper的配置文件
    cd /opt/zookeeper/zookeeper-3.4.14/conf
 
    vi zoo.cfg
    增加如下内容
    authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
    requireClientAuthScheme=sasl
    jaasLoginRenew=3600000
 
    

    增加新的配置文件
    vi zk_server_jaas.conf             
    增加如下内容
    Server {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="admin"
    password="admin"
    user_kafka="kafka-user"
    user_producer="prod-pwd";
    user_consumer="cons-user";
    };
    
    
    
2、jar包引入
   Zookeeper部署根目录下创建一个路径for_sasl
   
   cd /opt/zookeeper/                   
   mkdir for_sasl  
   将如下这些jar包放入for_sasl 中
   kafka-clients-0.10.0.1.jar
   lz4-1.3.0.jar
   slf4j-api-1.7.21.jar
   slf4j-log4j12-1.7.21.jar
   snappy-java-1.1.2.6.jar   
    
   修改配置文件
   cd /opt/zookeeper/zookeeper-3.4.14/bin
   vi zkEnv.sh
   添加如下内容      
   for i in /opt/zookeeper/for_sasl/*.jar;
   do CLASSPATH="$i:$CLASSPATH"
   done
   SERVER_JVMFLAGS=" -Djava.security.auth.login.config=/opt/zookeeper/zookeeper-3.4.14/conf/zk_server_jaas.conf "
 
   以上操作所有节点都做
   
3、启动zookeeper
    cd /opt/zookeeper/zookeeper-3.4.14/bin
    #启动服务(3台都需要操作)
    ./zkServer.sh start
    #检查服务器状态
    ./zkServer.sh status
    ZooKeeper JMX enabled by default
    Using config: /opt/zookeeper/bin/../conf/zoo.cfg
    Mode: follower   #他是否为领导
    


------------------kafka改造------------------------------
新增配置文件:kafka_server_jaas.conf
1、修改kafka的配置文件
    cd /opt/kafka/kafka_2.11-2.1.1/config
    vi kafka_server_jaas.conf      
    添加如下内容:
    KafkaServer {
        org.apache.kafka.common.security.plain.PlainLoginModule required
        username="admin"
        password="admin"
        user_admin="admin"
        user_testProducer="handleP-gzwl"   #预留用户begin  注:这里用户名是testProducer 密码是handleP-gzwl
        user_testConsumer="handleC-gzwl"
        user_testAProducer="oilStatP-gzwl"
        user_testAConsumer="oilStatC-gzwl"  #预留用户end
        user_producer="prod-pwd"
        user_consumer="cons-user";
       };

        Client {
        org.apache.kafka.common.security.plain.PlainLoginModule required
        username="kafka"
        password="kafka-user";
    };
 
 
2、配置server.properties  
  vi  server.properties
  添加如下部分 注意不同主机不同的地址 192.168.0.104、192.168.0.105、192.168.0.106
    listeners=SASL_PLAINTEXT://192.168.0.104:9092
    security.inter.broker.protocol=SASL_PLAINTEXT
    sasl.enabled.mechanisms=PLAIN
    sasl.mechanism.inter.broker.protocol=PLAIN
    authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
    allow.everyone.if.no.acl.found=true
 
    原有的:advertised.listeners=PLAINTEXT://192.168.0.104:9092
    也要改成SASL_PLAINTEXT
 
    这两行注销掉
    #inter.broker.protocol.version=0.9.0
    #log.message.format.version=0.9.0
 

3、创建启动脚本
   cd /opt/kafka/kafka_2.11-2.1.1/bin   
   
   cp kafka-server-start.sh kafka-server-start-sasl.sh
   
   vi kafka-server-start-sasl.sh
   将最后一行 exec $base_dir/kafka-run-class.sh $EXTRA_ARGS kafka.Kafka "$@"
   改为
   exec $base_dir/kafka-run-class.sh $EXTRA_ARGS -Djava.security.auth.login.config=/opt/kafka/kafka_2.11-2.1.1/config/kafka_server_jaas.conf kafka.Kafka "$@"
   
   

4、 启动kafka:
    kafka-server-start-sasl.sh -daemon /opt/kafka/kafka_2.11-2.1.1/config/server.properties
     
     
5、关闭脚本
    kafka-server-stop.sh  
    

------------------kafka常用工具类改造------------------------------
1、创建kafka_client_jaas.conf文件     
   cd /opt/kafka/kafka_2.11-2.1.1/config
   vi kafka_client_jaas.conf
   添加如下内容:
   
  KafkaClient {  
    org.apache.kafka.common.security.plain.PlainLoginModule required  
            username="producer"  
            password="prod-pwd";  
  };
 
 
2、加入环境变量
    cd /opt/kafka/kafka_2.11-2.1.1/config
    vi admin_sasl.config
    添加如下内容:
    security.protocol = SASL_PLAINTEXT
    sasl.mechanism = PLAIN     
    
    测试:
    kafka-console-producer.sh --broker-list 192.168.0.104:9092 --topic handle
    
 3、   使kafka-console-producer.sh好用
    
    cd /opt/kafka/kafka_2.11-2.1.1/config
    vi kafka_handle_p_jaas.conf
    
    KafkaClient {  
    org.apache.kafka.common.security.plain.PlainLoginModule required  
    username="handleProducer"  
    password="handleP-gzwl";  
    };  
    
    
    cd /opt/kafka/kafka_2.11-2.1.1/bin
    cp   kafka-console-producer.sh   kafka-console-producer-sasl.sh
    
    vi kafka-console-producer-sasl.sh
    将 exec $(dirname $0)/kafka-run-class.sh kafka.tools.ConsoleProducer "$@"
    改成  exec $(dirname $0)/kafka-run-class.sh -Djava.security.auth.login.config=/opt/kafka/kafka_2.11-2.1.1/config/kafka_handle_p_jaas.conf kafka.tools.ConsoleProducer "$@"
 
    vi producer.config
    添加如下内容:
    security.protocol=SASL_PLAINTEXT
    sasl.mechanism=PLAIN
    
    测试:    
    kafka-console-producer-sasl.sh --broker-list 192.168.0.104:9092 --topic handle --producer.config   /opt/kafka/kafka_2.11-2.1.1/config/producer.config
    
3、使 kafka-consumer-groups.sh 变得好用    
   cd /opt/kafka/kafka_2.11-2.1.1/bin
   cp   kafka-consumer-groups.sh   kafka-consumer-groups-sasl.sh
   vi kafka-consumer-groups-sasl.sh
   
    将最后一行 exec $(dirname $0)/kafka-run-class.sh kafka.admin.ConsumerGroupCommand "$@"
    改为       exec $(dirname $0)/kafka-run-class.sh -Djava.security.auth.login.config=/opt/kafka/kafka_2.11-2.1.1/config/kafka_client_jaas.conf kafka.admin.ConsumerGroupCommand "$@"
    注:这里的配置文件kafka_client_jaas.conf不通topic要用不同的用户名和密码

    
    ------------------------group监控----------------------------
     
    超级用户可以查看所有group  注:stat是消费者的group
    kafka-consumer-groups-sasl.sh  --bootstrap-server SASL_PLAINTEXT://192.168.0.104:9092    --describe --group stat  --command-config /opt/kafka/kafka_2.11-2.1.1/config/admin_sasl.config
 
4、 kafka-topics.sh不用改直接用
    
     创建topic
    kafka-topics.sh --create --zookeeper 192.168.0.104:12181  --replication-factor 2 --partitions 2 --topic test2
    
    查看topic
    
    kafka-topics.sh --list --zookeeper localhost:12181
    或者
    kafka-topics.sh --list --zookeeper 192.168.0.104:12181    
    
    查看topic的详细情况
    kafka-topics.sh --describe --zookeeper 192.168.0.104:12181
    
    指定topic查看
    kafka-topics.sh --describe --zookeeper 192.168.0.104:12181   --topic handle
 
 
    删除topic
    kafka-topics.sh --delete --zookeeper 192.168.0.104:12181   --topic test
    
    
    添加topic的partion
    kafka-topics.sh --alter --topic jyzImageAllNew --zookeeper localhost:12181 --partitions 4
 
 

标签:opt,验证,--,zookeeper,kafka,sh,集群,config
来源: https://www.cnblogs.com/yclh/p/14894712.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有