提高PostgreSQL的数据插入速度

Question

我遇到了 PostgreSQL 数据写入非常慢的问题。

我用 Java 开发了我的应用程序（使用 JDBC）将数据插入 PostgreSQL 数据库。它在我们的远程开发服务器上运行良好。但是，在我将其部署到生产服务器后，它会导致问题。

PostgreSQL在生产服务器上的插入速度只有~150 records/s for 200000K records，而在开发服务器上是~1000 records/s for the same data set。

首先，我尝试将postgresql.conf中的配置更改如下：

effective_cache_size = 4GB
max_wal_size = 2GB
work_mem = 128MB
shared buffers = 512MB

我更改配置重启后，只影响查询速度，而插入速度没有变化（~150 records/s）。

我检查了我的服务器内存信息，有很多可用内存 ~4GB。插入器仅使用 8GB (~40MB) 的 0.5%。

所以我的问题是：

这是存储磁盘的问题，例如 SSD 和 HDD 还是虚拟 和物理等？为什么我已经更改了配置，但插入速度仍然很慢？有没有什么办法 提高插入速度？

注意：问题与插入查询结构无关。 我在其他地方的相同条件下使用了相同的查询（我设置了一个 2台服务器中的环境以相同的方式）。我不知道为什么 DEVELOPMENT 服务器 (4GB) 比 PRODUCTION 服务器工作得更好 (8GB)。

Answer 1

影响INSERT 性能的唯一一个参数是max_wal_size。高值可防止频繁检查点。

在数据库服务器上使用iostat -x 1 查看磁盘的繁忙程度。如果他们很忙，您可能会遇到 I/O 瓶颈。也许您的测试服务器上的 I/O 子系统更好？

如果你在许多小事务中运行INSERTs，你可能会被fsync 瓶颈到WAL。症状是磁盘繁忙，执行的 I/O 不多。

在这种情况下，批量处理较大事务中的INSERTs。您观察到的差异可能是由于配置不同造成的：也许您在测试服务器上将synchronous_commit 或（可怕的说法！）fsync 设置为off。