ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

Hadoop2.8集群搭建

2022-05-02 09:00:43  阅读:179  来源: 互联网

标签:opt xml 配置文件 hadoop site 集群 Hadoop2.8 data 搭建


目录

前言

集群的搭建需要准备三台虚拟机

主机名称 IP地址
hadoop001 192.168.131.137
hadoop002 192.168.131.138
hadoop003 192.168.131.139

一、配置主机名与网络

以下操作 三台虚拟机 都需要进行操作

切换到root权限

su root

修改主机名称

hostnamectl set-hostname hadoop001

修改IP地址

vim /etc/sysconfig/network-scripts/ifcfg-ens33

做出如下修改

TYPE=Ethernet
PROXY_METHOD=static
BROWSER_ONLY=no
BOOTPROTO=dhcp
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=fa65cffc-4ad5-496b-a3bd-0c1bd3bbd600
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.131.137
GATEWAY=192.168.131.2
NETWORK=255.255.255.0
DNS1=192.168.131.2

注意 IPADDR 的修改(三台虚拟机对应各自IP)

重启网卡,测试网络

service network restart

重启电脑

reboot

添加映射

vim /etc/hosts

在另外 两台虚拟机 重复执行上述操作

二、配置免密登录

以下操作 三台虚拟机 都需要进行操作

ssh-keygen

输入ssh-keygen后,按照命令提示敲击“Enter”,直至命令结束

拷贝公钥

ssh-copy-id hadoop001

ssh-copy-id hadoop002

ssh-copy-id hadoop003

测试免密登录

在另外 两台虚拟机 重复执行上述操作

三、安装JDK

创建目录

mkdir /data

上传安装包

通过xshell连接hadoop001虚拟机

连接xshell后,切换至data目录,然后将jdk-7u75-linux-x64.tar.gz拖拽至xshell黑框里即可上传

cd /data

解压安装包

tar -zxvf /data/jdk-7u75-linux-x64.tar.gz  -C /opt/

重新命名解压后的文件夹

mv /opt/jdk1.7.0_75 /opt/java

配置环境变量

vim ~/.bashrc

在环境变量后加上如下文本

#java
export JAVA_HOME=/opt/java  
export PATH=$JAVA_HOME/bin:$PATH

保存并且退出,然后刷新环境变量

source ~/.bashrc

检测环境变量配置是否生效

java

四、安装Hadoop

上传安装包

通过xshell连接hadoop001虚拟机

连接xshell后,切换至data目录,然后将hadoop-2.8.5.tar.gz拖拽至xshell黑框里即可上传

解压安装包

tar -zxvf  /data/hadoop-2.8.5.tar.gz -C /opt/

重新命名解压后的文件夹

mv /opt/hadoop-2.8.5 /opt/hadoop

配置环境变量

vim ~/.bashrc

在环境变量后加上如下文本

#hadoop
export HADOOP_HOME=/opt/hadoop  
export PATH=$HADOOP_HOME/bin:$PATH

保存并且退出,然后刷新环境变量

source ~/.bashrc

检测环境变量配置是否生效

hadoop version

修改hadoop-env.sh配置文件

vim  /opt/hadoop/etc/hadoop/hadoop-env.sh

修改core-site.xml配置文件

创建Hadoop临时文件存储文件夹

mkdir -p /data/tmp/hadoop/tmp

修改配置文件

vim  /opt/hadoop/etc/hadoop/core-site.xml

添加如下文本

<property>  
    <name>hadoop.tmp.dir</name>  
    <value>/data/tmp/hadoop/tmp</value>  
</property>  
<property>  
    <name>fs.defaultFS</name>  
    <value>hdfs://hadoop001:9000/</value>  
    <description>NameNode URI</description>  
</property>

修改hdfs-site.xml配置文件

vim  /opt/hadoop/etc/hadoop/hdfs-site.xml

添加如下文本

<property>  
    <name>dfs.namenode.name.dir</name>  
    <value>/data/tmp/hadoop/hdfs/name</value>  
</property>  
<property>  
    <name>dfs.datanode.data.dir</name>  
    <value>/data/tmp/hadoop/hdfs/data</value>  
</property>  
<property>  
     <name>dfs.replication</name>  
     <value>1</value>  
</property>  
<property>  
     <name>dfs.permissions</name>  
     <value>false</value>  
</property>  

修改yarn-site.xml配置文件

vim  /opt/hadoop/etc/hadoop/yarn-site.xml

添加如下文本

<property>  
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value>  
</property>  

修改mapred-site.xml.template配置文件

修改文件名

mv /opt/hadoop/etc/hadoop/mapred-site.xml.template  /opt/hadoop/etc/hadoop/mapred-site.xml

修改配置文件

vim  /opt/hadoop/etc/hadoop/mapred-site.xml

添加如下文本

<property>  
    <name>mapreduce.framework.name</name>  
    <value>yarn</value>  
</property>  

修改slaves配置文件

vim  /opt/hadoop/etc/hadoop/slaves

文件分发拷贝

scp -r /opt/java/ /opt/hadoop/ hadoop002:/tmp/
scp -r /opt/java/ /opt/hadoop/ hadoop003:/tmp/

五、从节点操作

以下操作 只需在另两台台虚拟机(hadoop002、hadoop003) 进行操作

移动文件夹

mv /tmp/java /opt/
mv /tmp/hadoop /opt/ 

创建数据文件夹

mkdir /data

配置Hadoop与JDK环境变量

vim ~/.bashrc

在环境变量后加上如下文本

#java
export JAVA_HOME=/opt/java  
export PATH=$JAVA_HOME/bin:$PATH
#hadoop
export HADOOP_HOME=/opt/hadoop  
export PATH=$HADOOP_HOME/bin:$PATH

保存并退出,然后刷新环境变量

source ~/.bashrc

查看版本安装

在另外 一台虚拟机(hadoop003) 重复执行上述操作

六、启动集群

切换至Hadoop安装目录

cd /opt/hadoop/sbin

格式化分布式文件系统

/opt/hadoop/bin/hadoop namenode -format 

启动Hadoop,只需要在主节点(hadoop001)执行操作

./start-all.sh

查看启动进程

jps

主节点

从节点

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld.service

查看防火墙状态

firewall-cmd --state

查看Web界面

192.168.131.137:50070(主节点IP:50070)


声明

本文档仅供学习交流使用,不可商用。

部分操作命令以及安装方式整理来源于网络,若有侵权请及时联系删除。

标签:opt,xml,配置文件,hadoop,site,集群,Hadoop2.8,data,搭建
来源: https://www.cnblogs.com/zzh1374789581/p/15681521.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有