【问题标题】:Compression analysis in snowflake雪花中的压缩分析
【发布时间】:2022-01-15 20:40:46
【问题描述】:

在 redshift 中,我们可以运行“分析压缩”。这为我们提供了有关每列发生的压缩百分比的信息。我们在雪花中有什么类似的命令吗?

【问题讨论】:

    标签: compression snowflake-cloud-data-platform


    【解决方案1】:

    Snowflake 的一个关键概念是自动存储处理:

    Database Storage

    当数据加载到 Snowflake 中时,Snowflake 会将该数据重新组织为其内部优化的压缩列格式。Snowflake 将此优化的数据存储在云存储中。

    Snowflake 管理此数据存储方式的所有方面——组织、文件大小、结构、压缩、元数据、统计信息以及数据存储的其他方面均由 Snowflake 处理。 Snowflake 存储的数据对象不被客户直接可见或访问;它们只能通过使用 Snowflake 运行的 SQL 查询操作来访问。

    Benefits of Micro-partitioning

    Snowflake 对表数据进行分区的方法的好处包括:

    • 顾名思义,微分区的大小很小(压缩前为 50 到 500 MB),这可以实现极其高效的 DML 和细粒度修剪,从而加快查询速度。

    ...

    • 列也在微分区中单独压缩。 Snowflake 自动为每个微分区中的列确定最有效的压缩算法。

    如果“分析压缩”的目标是找到潜在的磁盘缩减收益,则该过程已经完成。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2020-07-29
      • 1970-01-01
      • 2021-04-11
      • 2021-09-20
      • 1970-01-01
      • 2016-08-16
      • 2020-11-26
      • 1970-01-01
      相关资源
      最近更新 更多