【问题标题】:Does Clickhouse take the amount of free disk space when scheduling background merges?Clickhouse 在安排后台合并时会占用可用磁盘空间吗?
【发布时间】:2021-09-12 03:29:18
【问题描述】:

我有一个 Clickhouse 集群(三个节点),其中包含一个合并树表、聚合合并树和一个物化视图,该视图用我们在合并树中插入的数据填充聚合合并树。所有表都存在于每个节点上。 (请参阅此要点 here 中的完整架构)。

我最近增加了存储大小(从每个节点 4TB 到 4.5TB),我注意到在此之后 Clickhouse 似乎在运行后台合并方面变得更加积极。它似乎运行更长的合并,每秒合并的行数更高,以至于某些合并会影响服务器的 IO 带宽,从而对插入率产生负面影响。

我注意到这个设置here。它提到如果后台池中有足够的空闲资源,Clickhouse 将安排合并。

有人知道这是否考虑了磁盘空间的数量吗?更多空间 -> 更有可能运行会创建更大分区的合并?我们用于该参数的值是默认值。而且我确实注意到,我们拥有的最大活动分区约为 150GB,尽管在添加存储之前我无法说出它们有多大。

如果需要任何额外的上下文,请告诉我。

谢谢

【问题讨论】:

    标签: clickhouse


    【解决方案1】:

    是的,CH 合并调度程序会考虑可用磁盘空间量。 仅当可用磁盘空间超过 300GB 时,才能开始 150GB 合并。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2011-04-30
      • 2013-11-02
      • 1970-01-01
      • 2015-03-05
      • 2023-03-12
      • 1970-01-01
      • 2018-07-22
      • 2015-03-24
      相关资源
      最近更新 更多