ClickHouse 系列报错

1.1 ClickHouse 环境

ClickHouse 系列报错

1.2 报错原因

默认情况下，ClickHouse会限制group by使用的内存量（它使用 hash table来处理group by）。这很容易解决 - 如果你有空闲的内存，增加这个参数

1.3 解决方法

1. 内存足够情况下

SET max_memory_usage = 128000000000; #128G

2. 内存不足情况下

GROUP BY中允许将临时数据转存到磁盘上，以限制对内存的使用

set max_bytes_before_external_group_by=20000000000; #20G，默认值为0，表示在GROUP BY中启动将临时数据转存到磁盘上的内存阈值。

# 使用max_bytes_before_external_group_by时，建议将max_memory_usage设置为它的两倍。这是因为一个聚合需要两个阶段来完成：
#（1）读取数据并形成中间数据 
#（2）合并中间数据。临时数据的转存只会发生在第一个阶段。
# 如果没有发生临时文件的转存，那么阶段二将最多消耗与1阶段相同的内存大小。
set max_memory_usage=40000000000; #40G

参考：https://clickhouse.yandex/docs/zh/query_language/select/