2020-10-03

    科技2022-07-11  87

    HDFS写入剖析 1.Client客户端向namenode发出写入请求。 2.namenode检查文件是否存在,检查权限,通过后通知输出流对象 。 3.Client客户端对数据进行128m一块进行切割,形成数据队列。 4.namenode挑选一组合适的datanode称为一个管线,并将其回给客户端。 5.客户端像输出流写入数据和效验和,并流式的写入管线中的每个节点。 6.最后一个datanode写完,像前一个datanode发出确认,最终第一个datanode像客户端发出确认,客户端会像namenode发出最终确认,然后写下一个块。 7.全部文件写入完成后,通知namenode,关闭输入流。

    Processed: 0.054, SQL: 8