文件读流程

1.Client通过FileSystem.open(filePath)方法,去与Namenode进行rpc通信,返回该文件的部分或全部的
block列表( 也包含该列表各block的分布在Datanode地址的列表 ),也就是返回FSDataInputStream对象;
2.Client调用FSDataInputStream对象的read()方法,
• a. 去与第一个块的最近的datanode进行read,读取完后,会check,假如successful,会关闭 与当前
Datanode通信;(假如check fail,会记录失败的块+Datanode信息,下次就不会读取;那么会去该块的第二个
Datanode地址读取)
• b. 然后去第二个块的最近的Datanode上的进行读取,check后,会关闭与此datanode的通信。
• c. 假如block列表读取完了,文件还未结束,那么FileSystem会从Namenode获取下一批的block的列表。
( 当然读操作对于Client端是透明的,感觉就是连续的数据流 )
3.Client调用FSDataInputStream.close()方法,关闭输入流

文件写流程

1.Client调用FileSystem.create(filePath)方法,去与Namenode进行rpc通信, check该路径的文件
是否存在以及有没有权限创建该文件 ,假如ok,就创建一个新文件,但是并不关联任何block,返回一
个FSDataOutputStream对象;(假如not ok,就返回错误信息,所以写代码要try-catch)
2.Client调用FSDataOutputStream对象的write()方法,会将第一个块写入第一个Datanode,第一个
Datanode写完传给第二个节点,第二个写完传给第三节点,当第三个节点写完返回一个ack packet给
第二个节点,第二个返回一个ack packet给第一个节点,第一个节点返回ack packet给
FSDataOutputStream对象,意思标识第一个块写完,副本数为3;然后剩余的块依次这样写;
( 当然写操作对于Client端也是透明的 )
3.当向文件写入数据完成后,Client调用FSDataOutputStream.close()方法,关闭输出流,flush缓存
区的数据包;
4.再调用FileSystem.complete()方法,告诉Namenode节点写入成功。