WebHDFS 和 SequenceFiles

Question

WebHDFS 不支持SequenceFiles 是真的吗？

我找不到任何说它确实的东西。我有通常的小文件问题，相信SequenceFiles 可以很好地工作，但我需要使用 WebHDFS。我需要通过 WebHDFS 创建并附加到 SequenceFile。

Answer 1

我认为这是真的。没有可附加到序列文件的 Web API。

但是，您可以附加二进制数据，并且如果您的序列文件不是块压缩的，您应该能够在客户端上以相对较少的努力格式化您的数据。您可以通过客户端上的序列文件编写器运行您的输入，然后使用输出进行上传（整个文件或表示自上次追加以来的增量的切片）。

您可以阅读更多关于序列文件格式的信息here。