我可以将日志写入/附加到位于 hdfs 中的压缩文件吗？答案

【问题标题】：Can I write/append logs to an compressed file which is located in hdfs?我可以将日志写入/附加到位于 hdfs 中的压缩文件吗？
【发布时间】：2014-01-21 06:56:42
【问题描述】：

我正在测试 hadoop 和 hive，我想在日志分析中使用它们。

我有一个问题，我可以将日志写入/附加到位于 hdfs 中的压缩文件吗？

我们的系统每天都会产生大量的日志文件，我可以每小时压缩这些日志并将它们放入hdfs中。

但是如果我想将日志写入已经在 hdfs 中并被压缩的文件中呢？

这些文件是否没有被压缩，那么这个工作看起来很简单，但是如何将日志写入或附加到压缩日志中？

我可以这样做吗？

谁能给我一些建议或给我一些例子？

非常感谢！

【问题讨论】：

标签： logging hadoop compression hdfs

【解决方案1】：

HDFS 就像任何文件系统（但分布式）。如果压缩算法支持追加，那么应该可以在 HDFS 中进行追加。请注意，只有部分 Hadoop 版本支持 HDFS 附加。

【讨论】：

感谢 Parveen，因此似乎无法将日志写入或附加到 hdfs 中的压缩文件中。我会找到其他方法来完成这项工作，谢谢。

【解决方案2】：

在 zlib 发行版中，有两个示例程序可以执行此操作。 gzappend 和 gzlog。您可以从 http://zlib.net 获取 zlib 发行版。

【讨论】：