标签：如图所示 spark3 spark2 spark1 Hadoop hadoop 主机 集群 Linux
条件
采用64位Oracle Linux 6.4, JDK：1.8.0_131 64位, Hadoop：2.7.3。
Spark集群实验环境共包含3台服务器，每台机器的主要参数如 表所示：
| 服务器 | HOSTNAME | IP | 功能 |
|---|---|---|---|
| spark1 | spark1 | 92.16.17.1 | NN/DN/RM Master/Worker |
| spark2 | spark2 | 92.16.17.2 | DN/NM/Worker |
| spark3 | spark3 | 92.16.17.3 | DN/NM/Worker |
过程
- 设置服务器的HOSTNAME
在三台服务器上分别设置服务器主机名称，spark1 服务器设置如图所示， spark2和spark3请自从完成。
注意：该项设置完成后，需重启服务器方能生效 - 配置网卡参数
根据IP分配表的内容分别修改各主机的网卡配置文件，其中spark1如图所示：
- 设置host映射文件
分别修改和主机的host文件如图所示：
- 关闭防火墙
分别在三台主机上永久关闭防火墙，spark1操作如图所示：
- 关闭SELINUX
分别在三台主机上修改SELINUX参数为disabled, spark1操作如 图所示：
注意：SELINUX参数修改后需要重启操作系统后才能生效 - 修改SSH配置文件
编辑 sshd_config 配置文件，将三个参数 RSAAuthentication,
PubkeyAuthentication, AuthorizedKeysFile的注释撤销掉，之后停止并再次启动SSHD守护进程，如图所示：
以上操作在spark1, spark2, spark3主机上均要执行 - 创建集群所需用户组及用户
创建hadoop用户组、hadoop用户，并设置hadoop用户的口令为hadoop, 如图所示：
接着给hadoop用户添加sudo权限，先给root用户授予对sudoers文件的写权限，在编辑sudoers文件，添加如图所示的行：
上述操作要在spark1, spark2, spark3三台主机分别执行 - 创建集群安装目录
分别在spark1, spark2, spark3三台主机上创建集群安装目录，并修改该目录所有者为hadoop, 其中spark1节点上的操作如图所示：
标签：如图所示,spark3,spark2,spark1,Hadoop,hadoop,主机,集群,Linux 来源： https://blog.csdn.net/qq_44759710/article/details/106895815
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。