Hadoop 序列文件中的压缩

Question

我有一些关于 hadoop 顺序文件的基本问题。

1) 默认压缩编解码器将文件压缩到什么程度？

2) 当我读取此文件并将其内容转储到文本文件时，我有 100 MB 的 hadoop 序列文件，我观察到的文本文件大小约为 1GB（可以吗？）

3)读取序列文件时"syncSeen()"的意义是什么？ “寻求（多头头寸）” ?如果我在阅读时不使用这些调用有什么问题吗？ 关于如何使用这些方法的任何示例？

Answer 1

SequenceFile.Reader#seek 会将阅读器定位在 SequenceFile 中的给定点。

根据Hadoop:The Definitive Guide

同步点是流中的一个点，可用于在读取器“丢失”时与记录边界重新同步 - 例如，在寻找流中的任意位置之后。同步点由 SequenceFile.Writer 记录，在写入序列文件时，每隔几条记录插入一个特殊条目来标记同步点。这样的条目足够小，只会产生适度的存储开销——不到 1%。同步点始终与记录边界对齐。

SequenceFile.Reader#syncseen 将在读取 SequenceFile 时判断是否已通过同步标记。