【发布时间】:2021-09-12 03:29:18
【问题描述】:
我有一个 Clickhouse 集群(三个节点),其中包含一个合并树表、聚合合并树和一个物化视图,该视图用我们在合并树中插入的数据填充聚合合并树。所有表都存在于每个节点上。 (请参阅此要点 here 中的完整架构)。
我最近增加了存储大小(从每个节点 4TB 到 4.5TB),我注意到在此之后 Clickhouse 似乎在运行后台合并方面变得更加积极。它似乎运行更长的合并,每秒合并的行数更高,以至于某些合并会影响服务器的 IO 带宽,从而对插入率产生负面影响。
我注意到这个设置here。它提到如果后台池中有足够的空闲资源,Clickhouse 将安排合并。
有人知道这是否考虑了磁盘空间的数量吗?更多空间 -> 更有可能运行会创建更大分区的合并?我们用于该参数的值是默认值。而且我确实注意到,我们拥有的最大活动分区约为 150GB,尽管在添加存储之前我无法说出它们有多大。
如果需要任何额外的上下文,请告诉我。
谢谢
【问题讨论】:
标签: clickhouse