19
2021
01

hdfs 工作原理

一般就是读写的工作流程,因为hdfs 主要还是对文件存储与读写。


读流程:


client端创建一个代理对象与namenode进行rpc通信,拿到namenode对象后请求获取文件的元信息,namenode效验无误后将元信息返回,client获取到元信息之后根据元信息读取相应datanode的block块,将block合并成一个文件进行返回。


写流程:


client端创建一个代理对象与namenode进行rpc通信,拿到namenode对象后请求创建文件的元信息,namenode触发副本放置策略,返回元数据信息,client和datanode建立piepline连接,client将packet放入一个队列中,并向第一个datanode发送packet这一过程中上游节点同时发送下一个packet,当 block 传输完成,DN 们各自向 NN 汇报,同时 Client 继续传输下一个 block所以,Client 的传输和 block 的汇报也是并行的

« 上一篇 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。