ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

Hadoop学习(三)_伪分布式搭建

2020-01-26 16:41:30  阅读:211  来源: 互联网

标签:文件 查看 hadoop Hadoop 进入 分布式 目录 搭建


1:首先上传Hadoop压缩包
放在指定的文件下,解压到opt下的一个指定目录
在这里插入图片描述
2:等待解压完成
在这里插入图片描述
3:看看是否解压到文件opt文件夹
在这里插入图片描述
运行文件读取的文是etc目录
bin下面是一些脚本
sbin下面的文件很重要!!!
属于系统级别的文件

3:配置Hadoop的环境变量
在这里插入图片描述
Pwd查询当前路径复制
进入这个目录配置环境变量

在Java下配置Hadoop目录位置
:后面追加环境变量

4:读一下:
在这里插入图片描述
查看:

5:进入etc目录下的hadoop目录
在这里插入图片描述
进入hadoop ll查看
查看Java的路径并复制
Vi进入这个文件、
在这里插入图片描述在这里插入图片描述

把里面的内容改成现在的样子

6:
在这里插入图片描述
进入这个文件
在这里插入图片描述

修改这个内容为如上

进入另外一个文件
在这里插入图片描述
修改以下内容
把#去掉
在这里插入图片描述

7:配置core-site.xml
进入:
在这里插入图片描述
修改内容

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node01:9000</value>
</property>

在这里插入图片描述

7进入
在这里插入图片描述
修改内容

 <property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

在这里插入图片描述
8:配置slaves文件
进入这个文件
在这里插入图片描述
修改成主机名称
在这里插入图片描述
9:进入
在这里插入图片描述

配置

 <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node06:50090</value>
</property>

在这里插入图片描述

10:进入core-site.xml文件

<property>
    <name>hadoop.tmp.dir</name>
    <value>/var/sxt/hadoop/local</value>
</property>

在这里插入图片描述

11:格式化
查看这个目录
准备格式化
在这里插入图片描述
注意这个路径
Var/Hadoop/hadoop/local

输入这个命令
在这里插入图片描述
准备格式化
回车格式化完成

12:查看进入一系列文件
在这里插入图片描述

13:查看这个文件夹
每一个Hadoop集群启动的时候都会生成一个唯一标识号ID
集群的ID是一样的
14:准备启动Hadoop
在这里插入图片描述
启动完成后会有四个进程
在这里插入图片描述
15:Hadoop有提供一个可视化的功能,在浏览器那边
首先查询一下浏览器的通信端口
在这里插入图片描述
50070是通信端口

16:进入通信端口,在火狐上输入
192.168.52.201:50070
Ip地址加端口号
在这里插入图片描述

17:创建一个路径
在这里插入图片描述
创建一个文件
hdfs dfs – 是必不可少的
查看文件
在这里插入图片描述
查看可视化
在这里插入图片描述
18:上传文件
在这里插入图片描述
上传成功是这样的
在这里插入图片描述
19:学会看日志文件排错(如果防火墙没有关闭,后续会出现一系列的问题)
Out是 临时文件,主要是看log文件
在这里插入图片描述

20:关闭集群

在这里插入图片描述

小熊` 发布了9 篇原创文章 · 获赞 3 · 访问量 184 私信 关注

标签:文件,查看,hadoop,Hadoop,进入,分布式,目录,搭建
来源: https://blog.csdn.net/weixin_43901822/article/details/104087954

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有