标签：VM12 CentOS Hadoop bigdata03 bigdata02 bigdata01 集群 ssh

由于篇幅较多，采取分篇，下面开始Hadoop集群的正式搭建。

修改Hadoop配置文件，SSH免密通信，克隆虚拟机，禁用防火墙

集群规划：

1.修改Hadoop配置文件

首先，进入Hadoop目录，在该目录下创建data目录，用于存放Hadoop运行时产生的文件、元数据等·

接着，进入存放Hadoop配置文件目录/opt/software/hadoop/etc/hadoop修改配置：

我们把NN, SN, RM部署到bigdata01上，因此上图中把主机名1均改为bigdata01。

之后，在hadoop-env.sh、yarn-env.sh、mapred-env.sh中分别添加export JAVA_HOME=/opt/software/jdk以指定jdk的路径，并在slaves文件添加bigdata01、bigdata02、bigdata03以指定数据节点DN的位置，如图：

2.禁用防火墙

输入chkconfig iptables off关闭防火墙，再用vi /etc/sysconfig/selinux将行SELINUX改为SELINUX=disabled以关闭高级防火墙。

3.克隆虚拟机

1)克隆bigdata01得到bigdata02、bigdata03。
2)在bigdata02、bigdata03中分别键入vi /etc/sysconfig/network-scripts/ifcfg-eth0 编辑，将IPADDR分别改为对应ip，然后vi /etc/udev/rules.d/70-persistent-net.rules查看其中NAME=eth1的ATTR{address},将DEVICE=eth0改为DEVICE=eth1，将行HWADDR的值改为ATTR{address}的值，然后保存退出，再service network restart重启网卡。

4.ssh免密通信

1)分别在bigdata01、bigdata02、bigdata03分别输入ssh-keygen -t rsa以生产公钥、私钥，默认保存在/root/.ssh目录中。
2)接着，在bigdata01、bigdata02、bigdata03中分别输入ssh-copy-id bigdata01、ssh-copy-id bigdata02、 ssh-copy-id bigdata03将公钥拷贝到其他主机中，至此免密通信完成。

启动Hadoop集群，Web查看集群状态

1)在bigdata01中输入hadoop namenode -format进行格式化。
2)在bigdata01上输入start-all.sh启动集群，jps可查看已经启动的进程。
3)在浏览器输入bigdata01的ip加端口50070(HDFS默认端口，低版本是8020)，比如我的bigdata01的IP是192.168.232.101，则输入192.168.232.101:50070即可(注：访问不了，查看防火墙是否关闭)。
4)在bigdata01上输入stop-all.sh关闭集群，关机前务必先关闭集群，以防集群崩塌出现错误。

至此，Hadoop完全分布式集群搭建成功，谢谢支持！

标签：VM12,CentOS,Hadoop,bigdata03,bigdata02,bigdata01,集群,ssh
来源： https://blog.csdn.net/qq_44093764/article/details/106882243

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。