标签：HDFS 文件 认识 写入 发送 DataNode 简单 NameNode

1. HDFS是什么

HDFS是Hadoop里的分布式文件系统，为HBase、Hive提供底层存储。

2. HDFS架构

2.1架构图

2.2解释

NameNode功能

1. 负责客户端（用户Client）的请求响应。
2. 负责元数据（文件名称、副本系数、block存放的位置（DataNode））的管理。

DataNode功能

1. 存储用户文件相应的数据块。
2. 定时向NameNode发送心跳信息，汇报本节点以及所有block的信息和健康状况（文件名字、文件大小、本节点是否正常工作等信息）。

2.3运行描述

用户向NameNode发送文件访问、读写请求时，NameNode负责响应并找到操作位置，发送指令让DataNode进行响应。

文件写入过程

文件块通常是64或者128M、G大小进行切分的。首先NameNode将数据切分，同时NameNode找到三个适合DataNode进行写入。先完成DataNode1的写入，再通过DataNode1写入到NataNode2中，依次完成三副本备份。

文件读取过程

用户发送文件名称给NameNode，NameNode先找到所有文件位置，再进入到DataNode中进行下载，下载完成再传给用户。

标签：HDFS,文件,认识,写入,发送,DataNode,简单,NameNode
来源： https://blog.csdn.net/liaosunjun/article/details/122195606

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。