WebHdfs 中的校验和计算

Question

当使用“hdfs dfs -put”获取文件时，客户端计算校验和并将输入数据+校验和发送到 Datanode 进行存储。

当使用 WebHdfs 读/写文件时，如何进行校验和计算/验证？ WebHdfs 如何保证数据完整性？

关于 apache 的 Hadoop 文档只字未提。

Answer 1

WebHDFS 只是通过通常的 datanode 操作的代理。 Datanodes 托管 webhdfs servlet，它们打开标准 DFSClients 并通过标准管道读取或写入数据。这是正常过程中的一个额外步骤，但不会从根本上改变它。这是brief overview。