【问题标题】:Hadoop compression headers and footersHadoop 压缩页眉和页脚
【发布时间】:2016-02-04 07:19:09
【问题描述】:

Gzip 压缩文件格式已知是一种带有额外页眉和页脚的 DEFLATE 压缩文件格式。与 lzop 编解码器类似,它是带有额外标头的 LZO 格式。

知道这些页眉和页脚是什么吗?我怎样才能看到它们的内容?

感谢您的宝贵时间。

【问题讨论】:

    标签: hadoop hdfs compression


    【解决方案1】:

    gzip 头和尾格式在RFC 1952 中定义。

    【讨论】:

    • 感谢您的回复。那信息量很大。参考链接后,我还有一些问题。 (1) Gzipped 文件是否有页脚? (2) 页眉 [和页脚(如果有)] 成员名称(例如 ID1、ID2 等)是否在不同的压缩格式中保持通用,并且只有它们各自的值不同?我的第二个问题将有助于理解 LZOP。
    • 您一定没有完整阅读过 RFC。它描述了页眉和拖车(页脚)。阅读 RFC。在 RFC 中还指出您没有阅读的是 gzip 格式仅用于一种压缩格式,deflate。你不要用它包装 LZO 数据。
    • 我的 cmets 可能不是很清楚。事实上,我浏览了 RFC,找不到任何(命名的)页脚/预告片。而对于标头,则有命名成员,例如 ID1、ID2。我只是想知道 RFC 中讨论的标头是否也适用于其他压缩格式,将它们视为“通用标头”。感谢您的快速响应。
    • 预告片在“压缩块”之后清晰显示。
    • 好的。那应该是CRC32和ISIZE。 lzop上有什么输入吗?
    猜你喜欢
    • 1970-01-01
    • 2020-11-30
    • 2011-08-17
    • 2017-03-20
    • 2012-09-23
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多