使用 PostgreSQL 和 TimescaleDB 进行高速单行插入

Question

我有一个 TSDB Hypertable 的案例，看起来大致如下：

CREATE TABLE data (
  pool_id INTEGER NOT NULL,
  ts TIMESTAMP NOT NULL,
  noise_err DECIMAL,
  noise_val DECIMAL,
  signal_err DECIMAL,
  signal_val DECIMAL,
  high_val DECIMAL,
  low_val DECIMAL,

  CONSTRAINT data_pid_fk FOREIGN KEY (pool_id) REFERENCES pools (id) ON DELETE CASCADE
);

CREATE UNIQUE INDEX data_pts_idx ON data (pool_id, ts);
SELECT create_hypertable('data', 'ts', 'pool_id', 100);

大约有 1000 个池，data 包含每个池超过 1 年的分钟记录，并且有相当多的分析查询处理过去 3 到 5 天的数据。新数据的到来有任意延迟：10 毫秒到 30 秒，具体取决于池。

现在的问题是：我需要在收到新记录后尽快运行分析查询，因此我无法批量插入，我需要加快单行插入速度。

我运行了timescaledb-tune，然后关闭了同步提交 (synchronous_commit = off)，使用了unlogged 表模式，并尝试禁用自动清理，但没有多大帮助。 我得到的最佳插入时间约为 37 毫秒，当并发插入开始到 110 毫秒时会降级。

除了删除索引/约束，我还能做些什么来加快单行插入？

Answer 1

首先，为什么首先对这个表使用 timescaledb？你从中得到了什么值得放慢速度的东西？

其次，您每年有 5200 个分区的数据。这接近于无法管理的分区数量。

Answer 2

我质疑需要查看最新瞬间数据的分析查询的要求。

无论如何，加快单行插入的方法是：

• 将synchronous_commit 设置为off。

  但请注意，这意味着在发生崩溃时，大约半秒的已提交事务的数据丢失！如果这是不可接受的，请使用commit_siblings 和commit_delay；这也将减少 WAL 刷新的次数。

• 使用准备好的语句。使用单行插入，计划时间会很长。

• 除非您不介意在崩溃后丢失数据，否则不要使用未记录的表。

• 不要禁用 autovacuum。

• 增加max_wal_size 以获取不超过健康的检查点。