将数据从 AWS S3 复制到 Aurora Postgres

Question

我正在尝试将数据从 AWS S3 复制到 Aurora Postgres。目前我的流程如下：

1. 从 S3 本地下载文件（在 EC2 实例上）
2. 运行“COPY FROM STDIN ...”命令将数据从输入流加载到 Aurora postgres。

我想知道是否有直接从 S3 复制到 Aurora postgres 的命令。

Answer 1

AWS 的这篇博文提到可以使用 AWS Database Migration service 来做到这一点

https://aws.amazon.com/blogs/database/stream-data-into-an-aurora-postgresql-database-using-aws-dms-and-amazon-kinesis-data-firehose/

AWS DMS 可以从源 S3 存储桶读取数据并将其加载到目标数据库中。为此，请提供对包含一个或多个数据文件的 S3 存储桶的访问权限。在该 S3 存储桶中，包含一个 JSON 文件，该文件描述数据与这些文件中数据的数据库表之间的映射。

源数据文件必须采用逗号分隔值 (CSV) 格式。使用如下所示的命名约定命名文件。在此约定中，schemaName 是源架构，tableName 是该架构中的表的名称。