【问题标题】:Parquet compression performance grouped vs flat dataParquet 压缩性能分组与平面数据
【发布时间】:2019-11-12 19:08:09
【问题描述】:

无法从网上得到直接的答案。 考虑以下数据场景: 我有包含 user_id 和用户活动时间戳的数据:

val bigData = Seq( ( "id3",12),
                 ("id1",55),
                 ("id1",59),
                 ("id1",50),
                 ("id2",51),
                 ("id3",52),
                 ("id2",53),
                 ("id1",54),
              ("id2", 34)).toDF("user_id", "ts")

所以原来的DataFrame是这样的:

+-------+---+
|user_id| ts|
+-------+---+
|    id3| 12|
|    id1| 55|
|    id1| 59|
|    id1| 50|
|    id2| 51|
|    id3| 52|
|    id2| 53|
|    id1| 54|
|    id2| 34|
+-------+---+

例如,这就是我将写入 HDFS\S3 的内容。

但是我无法保存按用户分组的数据,例如:

bigData.groupBy("user_id").agg(collect_list("ts") as "ts")

结果:

+-------+----------------+
|user_id|              ts|
+-------+----------------+
|    id3|        [12, 52]|
|    id1|[55, 59, 50, 54]|
|    id2|    [51, 53, 34]|
+-------+----------------+

对于哪种方法可以在文件系统上获得更好的存储/压缩,我可以得到一个决定性的答案。分组方法看起来(直观地)更好的存储/压缩方式。

有人知道是否有绝对的方法或知道关于这个主题的任何基准或文章吗?

【问题讨论】:

    标签: apache-spark compression bigdata parquet


    【解决方案1】:

    让我们考虑第一种以扁平结构存储数据的情况。如果您使用id 对数据进行排序,那么相同的 id 将进入相同的分区。这将导致Parquet dictionary compression 减小大小。

    此外,如果您的ts 是有界的,那么镶木地板格式会保留基础并创建偏移量。

    例如

    50 51 52 60 are the ts
    Parquet saves : base: 50, offset: 0, 1, 2, 8
    

    如果偏移量可以用 2 个字节表示,这可能会节省更多空间。

    其他格式也是有效的。但唯一的问题是,由于 parquet 是列格式,列值越大,parquet 将为其余列值创建填充

    例如

    ts
    ----
    [20], 
    [20,40,60,70,80]
    

    parquet 将为 20 创建填充,并将其保持为与 [20,40,60,70,80] 相同的大小。

    我建议您对数据集进行各种实验,测量大小并检查镶木地板页脚。您将深入了解 parquet 如何为您的应用程序存储数据。问题是数据大小将取决于基础数据,因此我们可能无法得到结论性的答案。

    【讨论】:

    • 正如我所怀疑的......我知道镶木地板是柱状基本格式,因此它的压缩受到数据类型和列的多样性的影响。我得到了列表填充,这对我来说是一个全新的信息。为了完成答案,您能否举一个反例,与平面数据相比,分组数据可以产生明显更好的压缩效果(将排序放在一边)。
    • 你能扩展一下填充问题吗?我理解镶木地板格式的方式,嵌套列将只使用每个值的一个或两个额外位来将其标记为仍嵌套在先前的 user_id 值中。这是否会增加或减少总文件大小将取决于 user_id 列的压缩程度。
    • 列式数据存储保持可变长度的列值填充形式,以便在返回行时可以将多个列组合成一行。我认为镶木地板也是如此。不过我可能是错的。一些代码指针:github.com/apache/parquet-mr/blob/…
    猜你喜欢
    • 1970-01-01
    • 2012-01-07
    • 1970-01-01
    • 2022-01-02
    • 2012-11-08
    • 1970-01-01
    • 1970-01-01
    • 2012-06-30
    • 2018-07-28
    相关资源
    最近更新 更多