ClickHouse 副本不同步

Question

我有一个由 3 个 ClickHouse 服务器组成的集群，其中有一个使用 ReplicatedMergeTree 的表。其中两台服务器不同步，“system.replication_queue”中的队列数不断增加。我可以在日志中看到这个错误。

Not executing log entry for part e87a3a2d13950a90846a513f435c2560_2428139_2436934_22 because source parts size (470.12 MiB) is greater than the current maximum (4.45 MiB).

如何增加源零件尺寸？我在设置中找不到它。

更新：

我阅读了源代码，它是根据可用资源自动计算的。我也收到了这条消息

Not executing log entry for part de77ce6a2937ce543cd003eb289fdb7e_8097652_8107495_1904 because another log entry for the same part is being processed. This shouldn't happen often.

在日志中收到上述消息的服务器具有较高的 CPU 使用率和插入延迟。

一旦我停止插入，复制队列就会被清除。

Answer 1

我找到了解决方案。发生这种情况是因为@vladimir 建议的“合并处理速度明显慢于插入”

我是在大批量插入数据，但这并不意味着 clickhouse 也会将数据存储在大文件中。 Clickhouse 存储数据基于

number of partitions * number of columns * (times 2 for every nullable column)

因此，即使对于单个大批量插入，也会创建多个文件。我通过删除分区键来减少分区数量解决了这个问题，从而减少了正在创建的文件数量。