首页 > 其他分享> 文章详细

Hadoop核心组件之HDFS的安装与配置

2021-06-10 18:03:06 阅读：216 来源： 互联网

标签：HDFS 配置 bigdata dfs Hadoop 组件 hadoop

教程目录

0x00 教程内容
0x01 Hadoop的获取
0x02 上传安装包到集群
- - - - 1. 上传安装包到虚拟机
0x02 安装与配置Hadoop
0x03 简便配置
- - - - 1. 环境变量配置
      - 2. 域名映射配置
0xFF 总结

0x00 教程内容

Hadoop的获取
上传安装包到集群
安装与配置Hadoop
简便配置

0x01 Hadoop的获取

1. 官网下载

a. 为了统一，此处下载Hadoop-2.7.5版本：
http://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/
选择hadoop-2.7.5.tar.gz进行下载
PS：
HDFS、MapReduce、YARN均是Hadoop核心组件，所以均使用Hadoop安装包，然后再配置即可！

2. 添加微信：shaonaiyi888

3. 关注公众号：邵奈一

a. 回复hadoop获取

0x02 上传安装包到集群

1. 上传安装包到虚拟机

a. 可以用XFtp软件上传到master（~/software/）

0x02 安装与配置Hadoop

1. 解压Hadoop

a. 进入安装包路径下：
cd ~/software/
b. 解压hadoop安装包到~/bigdata路径下（如果没有此文件夹，则先创建）
tar -zxvf hadoop-2.7.5.tar.gz -C ~/bigdata/

2. 配置Hadoop

a. 进入hadoop配置文件目录
cd ~/bigdata/hadoop-2.7.5/etc/hadoop/
在这里插入图片描述
b. 修改配置文件：vi core-site.xml
添加内容：

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9999</value>
	<description>表示HDFS的基本路径</description>
</property>

在这里插入图片描述
c. 修改配置文件：vi hdfs-site.xml
添加内容：

<property>
	<name>dfs.replication</name> 
	<value>1</value>
	<description>表示数据块的备份数量，不能大于DataNode的数量</description>
</property>
<property>
	<name>dfs.namenode.name.dir</name>
	<value>/home/hadoop-sny/bigdata/dfs/name</value>
	<description>表示NameNode需要存储数据的地方</description>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>/home/hadoop-sny/bigdata/dfs/data</value>
	<description>DataNode存放数据的地方</description>
</property>

在这里插入图片描述
d. 修改配置文件：vi hadoop-env.sh
修改JAVA_HOME：
export JAVA_HOME=/usr/local/lib/jdk1.8.0_161

e. 修改配置文件：vi slaves
删除里面的localhost，添加从节点的hostname：
slave1
slave2

f. 创建存放数据的文件夹
mkdir -p ~/bigdata/dfs/name
mkdir -p ~/bigdata/dfs/data
在这里插入图片描述

3. 同步Hadoop到slave1、slave2

a. 在slave1和slave2节点中的hadoop-sny用户下的主目录下创建bigdata目录：
mkdir bigdata
b. 复制master节点上的hadoop主目录到slave1、slave2：
scp -r ~/bigdata/hadoop-2.7.5 hadoop-sny@slave1:~/bigdata
scp -r ~/bigdata/hadoop-2.7.5 hadoop-sny@slave2:~/bigdata
c. 复制master节点上的数据文件目录到slave1、slave2：
scp -r ~/bigdata/dfs hadoop-sny@slave1:~/bigdata
scp -r ~/bigdata/dfs hadoop-sny@slave2:~/bigdata
d. 复制完成后，可以看到slave1、slave2上已经有hadoop了
ls ~/bigdata/
slave1的hadoop
slave2的hadoop

4. 校验HDFS

a. 在master上执行格式化HDFS：
cd ~/bigdata/hadoop-2.7.5/bin
./hdfs namenode -format
b. 执行成功后可以看到格式化成功的字样：
在这里插入图片描述
c. 启动HDFS：
cd ../sbin
./start-dfs.sh

d. 查看三台服务器的进程情况：
在这里插入图片描述

PS：发现有进程，已经成功了99%啦！还有1%要上传了文件才知道！

e. 查看Web UI界面
在window用浏览器打开端口（master的ip地址是192.168.128.131）
http://192.168.128.131:50070
在这里插入图片描述
f. 截止，HDFS就已经安装好了，但是，我们还发现了两个问题：

启动HDFS的时候，要进入到Hadoop的主目录，比较麻烦
访问Web UI的时候要输入ip地址，再加端口号，记住ip地址比较困难

0x03 简便配置

1. 环境变量配置

a. 现在我们想要执行hadoop与start-dfs.sh等命令是要进入到相应的路径才可以执行的，我们可以将相关的路径配置到环境变量
b. 配置master的环境变量（hadoop-sny用户）
vi ~/.bash_profile

export HADOOP_HOME=~/bigdata/hadoop-2.7.5
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在这里插入图片描述
c. 使环境变量生效
source ~/.bash_profile
d. 校验环境变量是否生效
echo $HADOOP_HOME
which hdfs
均有内容输出：

2. 域名映射配置

a. 修改windows的域名映射（与教程：IDEA2018安装与配置中的道理是一样的
）：
C:\Windows\System32\drivers\etc\hosts
在这里插入图片描述
b. 配置好后，我们就可以在windows的浏览器上用配置的用户名访问了

0xFF 总结

因为之前我们的专栏 复制粘贴玩转大数据系列专栏 用docker安装Hadoop环境时我们没有常规的安装HDFS，所以就补上了这个。
感谢您的阅读，我是邵奈一，很高兴认识您。

作者简介：邵奈一
大学大数据讲师、大学市场洞察者、专栏编辑
公众号、微博、CSDN：邵奈一

复制粘贴玩转大数据系列专栏已经更新完成，请跳转学习！

标签：HDFS,配置,bigdata,dfs,Hadoop,组件,hadoop
来源： https://blog.51cto.com/u_12564104/2891709

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9