ICode9

精准搜索请尝试: 精确搜索
首页 > 编程语言> 文章详细

HDFS编程实践(Hadoop3.1.3)

2021-10-05 11:35:19  阅读:146  来源: 互联网

标签:bin HDFS hdfs 编程 hadoop dfs Hadoop3.1 目录


HDFS编程实践(Hadoop3.1.3)

1,在学习HDFS编程实践前,我们需要启动Hadoop(版本是Hadoop3.1.3)。执行如下命令:

cd /usr/local/hadoop    #切换到hadoop的安装目录  
./sbin/start-dfs.sh    #启动hadoop

 

一、利用Shell命令与HDFS进行交互

Hadoop支持很多Shell命令,其中fs是HDFS最常用的命令,利用fs可以查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。

① 查看fs总共支持了哪些命令:    ./bin/hadoop fs

② 查看具体某个命令的作用: (例如:我们查看put命令如何使用):    ./bin/hadoop fs -help put

1.目录操作:

① 在HDFS中为hadoop用户创建一个用户目录:

cd /usr/local/hadoop
./bin/hdfs dfs -mkdir -p /user/hadoop

■ 该命令中表示在HDFS中创建一个“/user/hadoop”目录,“–mkdir”是创建目录的操作,“-p”表示如果是多级目录,则父目录和子目录一起创建,

这里“/user/hadoop”就是一个多级目录,因此必须使用参数“-p”,否则会出错。

② 查看目录下的内容:./bin/hdfs dfs -ls .

■ 该命令中 . 表示HDFS中的当前用户目录, 即 “/user/hadoop”目录

■ 列出HDFS上的所有目录命令:./bin/hdfs dfs -ls

③ 创建一个input目录:./bin/hdfs dfs -mkdir input

■  在HDFS的根目录下创建一个名称为input的目录:./bin/hdfs dfs -mkdir /input

④ rm命令删除一个目录(删除 input 目录):./bin/hdfs dfs -rm -r /input

 

标签:bin,HDFS,hdfs,编程,hadoop,dfs,Hadoop3.1,目录
来源: https://www.cnblogs.com/shan333/p/15368039.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有