如何在 PostgreSQL 中处理大型数据集？答案

【问题标题】：How to work with large datasets in PostgreSQL?如何在 PostgreSQL 中处理大型数据集？
【发布时间】：2020-12-08 06:40:36
【问题描述】：

我有一个具有这种结构的表：id、value、metric、timestamp，并且在（id、metric、timestamp）列上有一个主键索引。我以每 10 秒 1M 的速率传入数据，因此您可以想象到一天结束时我最终会得到一个大型数据库。我需要使用以下简单算法对数据进行下采样：获取超过一小时的数据，并将每个指标的所有记录减少到每 10 分钟 1 条。为了做到这一点，我实现了 java 服务，它每小时获取一次特定指标的最后一小时的记录，选择要删除的记录，并批量生成 1000 个 DELETE 语句并将其发送到 postresql。

我生成每个删除语句的方式是：

DELETE FROM TABLE WHERE id = :id, metric = :metric, timestamp = :timestamp;
DELETE FROM TABLE WHERE id = :id, metric = :metric, timestamp = :timestamp;
DELETE FROM TABLE WHERE id = :id, metric = :metric, timestamp = :timestamp;

公元前3 列上的索引。当我尝试按 id 删除时（它只是一个序列字段，而不是主键），它很慢。

无论如何，我尝试执行我的解决方案，但它没有赶上。删除数据真的很慢。我不想使用 PostreSQL 存储过程，b.c。我希望代码更灵活：使用并行处理等。有什么建议可以提高性能吗？我正在使用 PostgreSQL 12。

【问题讨论】：

标签： database postgresql

【解决方案1】：

如果基于索引的删除很慢，原因一定是有外键指向not properly indexed的表。

【讨论】：

它们并没有那么慢，删除一个 TB 表上的 10 000 条记录需要一百毫秒。我认为我正在处理数百万条记录并且需要以某种方式并行处理或不使用 DELETE 语句的问题。不确定 PostreSQL 是否还有其他工具。
表的大小无关紧要。要快速删除许多行，请使用分区和DROP TABLE。

【解决方案2】：

你考虑过时间刻度吗？这是为时间序列设计的 PostgreSQL 的“风味”。

【讨论】：

是的，他们没有很好地处理我的用例，事实上他们设计数据处理的方式与我需要的相反。