标签：hdfs shell 查看 文件 hadoop fs 机制 block
hdfs的实现思想：
1.hdfs是通过分布式集群存储文件，为客户端提供了一个便捷的访问方式，即虚拟的访问目录结构
2.文件存储到hdfs集群中去的时候是被切分成block（文件数据）的
3.文件的block存放在若干台datanode节点上
4.hdfs文件系统中的文件与真实的block之间有映射关系，由namenode进行管理
5.每一个block在集群中会存储多个副本，好处是可以提高数据的可靠性，还可以提高访问的吞吐量/并发能力
1.HDFS shell
1.0查看帮助
hadoop fs -help <cmd>
1.1上传
hadoop fs -put <linux上文件> <hdfs上的路径>
1.2查看文件内容
hadoop fs -cat <hdfs上的路径>
1.3查看文件列表
hadoop fs -ls /
1.4下载文件
hadoop fs -get <hdfs上的路径> <linux上文件>
1.5查看磁盘空间
hadoop fs -df -h <hdfs上的路径>
1.6查看目录或目录下文件的大小
hadoop fs -du -s -h <必须指明是hdfs的路径 hdfs:xxx:9000/，否则会认为是Linux服务器路径>
1.7创建目录
hadoop fs -mkdir
注：不会级联创建文件夹，若是级联文件夹，需要自己创建
1.8删除没有数据的空目录
hadoop fs -rmdir <文件名>
1.9实时刷新看文件尾部
hadoop fs -tail -f <文件名>
mqingo
发布了442 篇原创文章 · 获赞 86 · 访问量 23万+
关注
标签：hdfs,shell,查看,文件,hadoop,fs,机制,block 来源： https://blog.csdn.net/mqingo/article/details/103991825
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。