标签：DN HDFS 调用 NN 读写 Client 流程 block

一、HDFS写流程

流程图如下：

过程：

1、HDFS Client调用Filesystem.creat(filePath)方法，通过RPC（远程过程调用，简单的理解是一个节点请求另一个节点提供的服务）与NameNode建立通讯。

2、NN会检查这个文件是否存在？是否可以创建?如果可以，NN会触发副本放置策略，计算出上传的块和相应的DN节点，然后将这个信息返回给Client的FsDataOutputStream对象。

3、Client和对应的一个 DN 建立PipeLine连接（本质上也是一个RPC调用，DN收到请求后再去调用另一个，另一个接着调用最后一个，将整个PipeLine建立完成后，从后逐级返回给client）

4、Client接着调用 FsDataOutputStream 的write方法，Client将每个块 切成packet（64k），然后向第一个DN发送，第一个收到后保存再发送给第二个，第二个收到后保存，再发送给第三个

在此过程中 上游节点同时发送下一个packet 

生活中类比工厂的流水线；结论：流式其实也是变种的并行计算

5、然后再PipeLine反方向，逐个发送ACK（命令正确应答），最后由第一个DN发送给Client（FSDataOutputStream）

6、当第一个block传输完成后，Client请求NameNode上传第二个block，重复3操作

7、当所有block全部写完，Client调用FSDataOutputStream的close方法关闭数据流

然后调用FileSystem.complete 方法告诉NN文件写入成功。

二、HDFS  读流程

流程图如下：

 

过程：

1、HDFS Client 调用Filesystem.open(filePath)方法，与NN进行RPC通信

2、NN对文件进行权限检查（存在？权限？）然后根据就近返回相应的block列表给Client

3、Client与相应的每个block主机建立PipeLine（并行）

4、client调用FSDataInputStream.read方法同样以package为单位进行读取，读取完后进行检查

5、将读取的不同block进行合并

6、client调用FSDataInputStream的close方法关闭数据流

作业：

1、一些名词了解

spu：款                sku：款色                   范围  spu>sku

 2、emp表递归问题，要求最后查询形式如下

1

 

 

标签：DN,HDFS,调用,NN,读写,Client,流程,block
来源： https://blog.csdn.net/qq_43476430/article/details/123633335

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。