将 +10,000 个数据从 ec2 插入 rds postgres 太慢了

Question

我将大量数据从 ec2 插入到 rds postgres。 ec2从S3中读取数据，格式化后插入rds。

使用pyhton3.8、flask和flask_sqlalchemy

ec2基于悉尼，rds基于west2。

每次插入需要 30 秒，可能需要 1~2 天才能完成所有插入。

当我在本地到本地的 postgres 中尝试时，它在 5 分钟内完成。

无论如何我可以提高性能？喜欢增加 ec2 实例的大小？

我google了一下，发现把ec2和rds放到同一个区域可能会提高性能，但需要你们更多的意见

Answer 1

我正在阅读一篇文章 Inserting a billion rows in SQLite under a minute 可能会对您有所帮助。

我个人没有使用 EC2，但如果您可以更改数据库配置，那篇文章仍然可以帮助您。它基于优化数据库配置以插入过多数据。