如何在clickhouse中找到重复记录[关闭]

【问题标题】：How can I find duplicate records in clickhouse [closed]如何在clickhouse中找到重复记录[关闭]
【发布时间】：2020-12-21 12:04:48
【问题描述】：

我想知道如何在 clickhouse 的一个表中找到重复的数据条目。

我实际上是在调查merge tree table，实际上把optimize statements 扔到我的桌子上，但这并没有奏效。重复的条目仍然存在。

最好有一个通用策略而不引用单个列名。

我只想查看重复的条目，因为我正在处理非常大的表。

【问题讨论】：

标签： sql duplicates clickhouse

【解决方案1】：

直接的方法是运行此查询。

SELECT 
    *, 
    count() AS cnt
FROM myDB.myTable
GROUP BY *
HAVING cnt > 1
ORDER BY date ASC

如果查询变得很大，您可以分段运行。

SELECT 
    *,
    count() AS cnt
FROM myDB.myTable
WHERE (date >= '2020-08-01') AND (date < '2020-09-01')
GROUP BY *
HAVING cnt > 1
ORDER BY date ASC

【讨论】：