数仓用户认证 Kerberos 安全集群使用说明

2022-02-01 17:04:06 阅读：194 来源： 互联网

标签：数仓 Kerberos COM luanhao hadoop 集群 hadoop102 root EXAMPLE

文章目录

用户要求
访问HDFS集群文件
- Shell命令
- web页面
提交MapReduce任务

用户要求

1，具体要求
以下使用说明均基于普通用户，安全集群对用户有以下要求：
1）集群中的每个节点都需要创建该用户
2）该用户需要属于hadoop用户组
3）需要创建该用户对应的Kerberos主体

2，实操
此处以 luanhao 用户为例，具体操作如下
1）创建用户（存在可跳过），须在所有节点执行

[root@hadoop102 ~]# useradd luanhao 
[root@hadoop102 ~]# echo luanhao | passwd --stdin luanhao 

[root@hadoop103 ~]# useradd luanhao 
[root@hadoop103 ~]# echo luanhao | passwd --stdin luanhao 

[root@hadoop104 ~]# useradd luanhao 
[root@hadoop104 ~]# echo luanhao | passwd --stdin luanhao

2）加入hadoop组，须在所有节点执行

[root@hadoop102 ~]# usermod -a -G hadoop luanhao 
[root@hadoop103 ~]# usermod -a -G hadoop luanhao 
[root@hadoop104 ~]# usermod -a -G hadoop luanhao

3）创建主体

[root@hadoop102 ~]# kadmin -p admin/admin -wadmin -q"addprinc -pw luanhao luanhao"

访问HDFS集群文件

Shell命令

1，认证

[luanhao@hadoop102 ~]$ kinit luanhao

2，查看当前认证用户

[luanhao@hadoop102 root]$ klist
Ticket cache: FILE:/tmp/krb5cc_1000
Default principal: luanhao@EXAMPLE.COM

Valid starting       Expires              Service principal
2022-02-01T11:18:19  2022-02-02T11:18:19  krbtgt/EXAMPLE.COM@EXAMPLE.COM

3，执行命令

[luanhao@hadoop102 root]$ hadoop fs -ls /

4，注销认证

[root@hadoop102 ~]$ kdestroy

web页面

1，安装Kerberos客户端
下载地址：http://web.mit.edu/kerberos/dist/kfw/4.1/kfw-4.1-amd64.msi　
1）下载之后按照提示安装
2）编辑C:\ProgramData\MIT\Kerberos5\krb5.ini文件，内容如下

[libdefaults]
 dns_lookup_realm = false
 ticket_lifetime = 24h
 forwardable = true
 rdns = false
 default_realm = EXAMPLE.COM

[realms]
 EXAMPLE.COM = {
  kdc = hadoop102
  admin_server = hadoop102
 }

[domain_realm]

2，配置火狐浏览器
1）打开浏览器，在地址栏输入“about:config”，点击回车
在这里插入图片描述
２）搜索“network.negotiate-auth.trusted-uris”，修改值为要访问的主机名（hadoop102）

3）搜索“network.auth.use-sspi”，双击将值变为false

在这里插入图片描述
3，认证
１）启动Kerberos客户端，点击Get Ticket

在这里插入图片描述
２）输入主体名和密码，点击OK

在这里插入图片描述

３）认证成功

在这里插入图片描述
4，访问HDFS

在这里插入图片描述
5，注销认证

在这里插入图片描述

提交MapReduce任务

1，认证

[luanhao@hadoop102 ~]$ kinit luanhao

2，查看

[luanhao@hadoop102 ~]$ klist
Ticket cache: FILE:/tmp/krb5cc_1000
Default principal: luanhao@EXAMPLE.COM

Valid starting       Expires              Service principal
2022-02-01T16:46:41  2022-02-02T16:46:41  krbtgt/EXAMPLE.COM@EXAMPLE.COM

3，提交任务

[root@hadoop102 ~]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi 1 1

4，任务成功！
在这里插入图片描述

标签：数仓,Kerberos,COM,luanhao,hadoop,集群,hadoop102,root,EXAMPLE
来源： https://blog.csdn.net/weixin_45417821/article/details/122763052

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9