【问题标题】:Is there a maximum "healthy" size for a part in a Merge Tree?合并树中的零件是否有最大“健康”大小?
【发布时间】:2021-07-17 00:34:36
【问题描述】:

我在 Clickhouse 20.7.2 上运行的 3 个节点集群(3 个副本,一个分片)上有一个带有 this schema 的表。我没有更改任何默认的合并树配置设置。

正如预期的那样,Clickhouse 背景合并生成的部分最大大小约为 150Gb。它定期生成具有 10-20 个部分的分区。这似乎是意料之中的。

有时我会在某些分区上运行 OPTIMIZE FINAL 以删除重复项。正如预期的那样,这会将部分压缩在一起并生成高达 350Gb 的部分。

在运行这么大的部件时,我有什么特别需要注意的吗? 后台合并生成的默认最大零件大小也有理由具体为 150Gb 吗?

非常感谢您。

【问题讨论】:

    标签: clickhouse


    【解决方案1】:

    在运行这么大的部件时我应该注意什么特别的问题?

    不用担心。

    生成默认最大零件尺寸也是有原因的 通过后台合并具体为 150Gb 吗?

    没有特别的原因。 Yandex 事先不知道什么值足够好,他们设置了 100GB。后来(2017 年 12 月)他们决定逐渐将其增加到 300GB(或 500GB?),他们做了第一次尝试并改变了它,他们设置了 150GB,他们得到了大量的满足,因为所有用户的所有系统都开始合并旧部件和变得非常缓慢。所以他们决定不再改变这个参数。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2017-04-05
      • 1970-01-01
      • 2019-08-09
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-04-14
      相关资源
      最近更新 更多