HDFS的读取和写入

    科技2022-09-11  135

    文件的写入过程

    1、客户端将待写入的文件信息上传给namenode 2、namenode检测要上传的文件 3、将是否可上传的信息返回给客户端 4、client将待上传的文件进行切块,然后上传blk1 5、namenode根据集群中现存的快信息和机架感知,选出可上传的主机(假设时datanode1和datanode2和datanode3) 6、namenode返回datanode列表(dn1,dn2,dn3) 7、client和datanode之间建立pipline,datanode与datanode之间建立pipline 8、client向dadanode传递数据(传递的单位:packet:64K) 9、datanode将packet信息进行缓存 10、上传结束后datanode向datanode发送应答,datanode向客户端(client)发送应答,说明第一块block已上传完成。

    文件的读取过程

    1、client向namenode发送请求要下载的文件信息 2、namenode检查每个datanode中的block信息,检查每一个block所对应的主机列表,最后挑选出距离客户端最近的每个block的主机列表 3、namenode将block主机列表返回给client 4、client和每一个block所在的datanode建立pipline 5、client开始从datanode中进行数据读取(读取每个block的信息),读取单位:packet(64K) 6、client将每个block进行合并,合并成一个完整的文件

    Processed: 0.008, SQL: 9