将数据从 Amazon Aurora 同步到 Redshift

Question

我正在尝试在 AWS Aurora 和 Redshift 之间设置同步。实现这种同步的最佳方式是什么？

可能的同步方式是：-

1. 查询表以查找表中的更改（因为我只做插入，更新无关紧要），将这些更改导出到 S3 存储桶中的平面文件并使用 Redshift 复制命令插入到 Redshift。

2. 使用 python publisher 和 Boto3 将更改发布到 Kinesis 流中，然后在 Firehose 中使用此流，我可以从那里直接复制到 Redshift。

3. 使用 Kinesis Agent 检测 binlog 中的更改（是否可以使用 Kinesis Agent 检测 binlog 中的更改）并将其发布到 Firehose 并从那里复制到 Firehose。

我还没有探索过 AWS Datapipeline。

Answer 1

正如@Mark B 所指出的，AWS Database Migration Service 可以在数据库之间迁移数据。这可以一次性完成，也可以连续运行，保持两个数据库同步。

文档显示Amazon Aurora can be a source 和Amazon Redshift can be a target。

Answer 2

您也可以使用联合查询：https://docs.aws.amazon.com/redshift/latest/dg/federated-overview.html