kafka_kdc认证版本客户端对接

2021-08-03 16:00:08 阅读：173 来源： 互联网

标签：essence kdc dcdl COM test kafka com 客户端

kafka 通过kdc认证消费topic 配置：
一、kafka消费客户端主机要安装kerberos客户端：
yum install krber*

二、kafka消费客户端主机配置kerberos文件：/etc/krb5.conf
[root@dcdl-test-datanode1 ckm]# cat /etc/krb5.conf
includedir /var/lib/sss/pubconf/krb5.include.d/

[logging]
default = FILE:/var/log/krb5libs.log
kdc = FILE:/var/log/krb5kdc.log
admin_server = FILE:/var/log/kadmind.log

[libdefaults]
default_realm = ESSENCE.COM
dns_lookup_realm = false
dns_lookup_kdc = true
rdns = false
ticket_lifetime = 24h
renew_lifetime = 7d
forwardable = true
udp_preference_limit = 1
#udp_preference_limit = 1 是否有开启udp端口
# default_ccache_name = KEYRING:persistent:%{uid}

[realms]
ESSENCE.COM = {
kdc = dcdl-test-datanode2.essence.com:88
master_kdc = dcdl-test-datanode2.essence.com:88
admin_server = dcdl-test-datanode2.essence.com:749
kpasswd_server = dcdl-test-datanode2.essence.com:464
default_domain = dcdl-test-datanode2.essence.com
pkinit_anchors = FILE:/etc/ipa/ca.crt
}

[domain_realm]
.essence.com = ESSENCE.COM
essence.com = ESSENCE.COM
dcdl-test-datanode1.essence.com = ESSENCE.COM
dcdl-test-namenode1.essence.com = ESSENCE.COM
server.essence.com = ESSENCE.COM
client.essence.com = ESSENCE.COM

[dbmodules]
ESSENCE.COM = {
db_library = ipadb.so
}

三、把kafka bootstrap-server主机加入 /etc/hsots
10.2.98.128 dcdl-test-namenode1.essence.com dcdl-test-namenode1
10.2.98.129 dcdl-test-datanode1.essence.com dcdl-test-datanode1
10.2.98.130 dcdl-test-datanode2.essence.com dcdl-test-datanode2
10.2.98.131 dcdl-test-datanode3.essence.com dcdl-test-datanode3

10.2.98.128 dcdl-test-namenode1.essence.com 9092
10.2.98.129 dcdl-test-datanode1.essence.com 9092
10.2.98.130 dcdl-test-datanode2.essence.com 9092
10.2.98.131 dcdl-test-datanode3.essence.com 9092

四、向数据平台组申请kafka消费用户（示例，真实环境用户名按规范命名）：kafka_test ；并生成密码文件：kafka_test.keytab

使用密码文件在kafka消费客户端主机验证登录：
>$ kinit -kt /**/**/kafka_test.keytab kafka_test
>$ klist
正常显示如下：
Ticket cache: FILE:/tmp/krb5cc_0
Default principal: kafka_test@ESSENCE.COM

Valid starting Expires Service principal
08/20/2020 15:39:59 08/21/2020 15:39:53 krbtgt/ESSENCE.COM@ESSENCE.COM
renew until 08/27/2020 15:39:5

五、向数据平台组申请创建topic ，并AR同步所需求的表数据到对应的topic里。

六、准备配置文件client.properties；jaas-keytab.conf ：

>$ cat client.properties

security.protocol=SASL_PLAINTEXT
sasl.kerberos.service.name=kafka
group.id=testgroup

>$ cat jaas-keytab.conf
KafkaClient{
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
keyTab="/home/kafka_test/kafka_test.keytab"
principal="kafka_test@ESSENCE.COM";
};

七，加载 jaas-keytab.conf文件：
>$ export KAFKA_OPTS="-Djava.security.auth.login.config=/home/epass_app/jaas-keytab.conf"

八、kafka生产者示例
kafka-console-producer --broker-list dcdl-test-datanode2.essence.com:9092,dcdl-test-datanode1.essence.com:9092,dcdl-test-datanode3.essence.com:9092 --topic kbsstopics --producer.config client.properties

九、命令行消费测试：
kafka-console-consumer --topic kbsstopics --from-beginning --bootstrap-server dcdl-test-datanode2.essence.com:9092,dcdl-test-datanode1.essence.com:9092,dcdl-test-datanode3.essence.com:9092 --consumer.config client.properties

十、请用户申请开通网络防火墙，用户客户服务器访问kafka集服务器(需要访问kafka集群用户人员)
10.2.98.128
10.2.98.129
10.2.98.130
10.2.98.131
端口：88，749，464，2181，9092

十一、kafka集群服务器修改防火墙，加入客户端服务器IP(kafka集群运维人员)

标签：essence,kdc,dcdl,COM,test,kafka,com,客户端
来源： https://www.cnblogs.com/xwg168/p/15094712.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

kafka_kdc认证版本客户端对接