行处理从 Redshift 到 Redshift 的数据

Question

我们正在处理一个需求，我们希望从一个 redshift 集群“逐行”获取增量数据，根据需求对其进行处理并将其插入另一个 redshift 集群。我们希望做到“row wise” 而不是“batch operation”。为此，我们正在编写一个通用服务，它将从 Redshift -> Redshift 进行行处理。所以，它就像 Redshift -> Service -> Redshift。 对于插入数据，我们将使用插入查询来插入。我们将在特定批次之后提交，而不是按行进行性能。 但我有点担心多个插入查询的性能。或者有没有其他可用的工具可以做到这一点。有许多可用的 ETL 工具，但都进行批处理。我们希望逐行处理。有人可以建议吗？

Answer 1

我可以保证，根据经验，您的方法不会有效。您可以参考此链接了解详细的最佳实践：

https://docs.aws.amazon.com/redshift/latest/dg/c_loading-data-best-practices.html

但是，我建议你这样做：

1. 编写一个 python 脚本，根据根据您的要求过滤数据的查询条件（即基于时间、日期等某些阈值）将数据从源 Redshift 卸载到 S3。此操作应该快速且您可以安排此脚本每分钟或几分钟执行一次，生成多个文件。

2. 现在，您基本上在 S3 中有一个连续的文件流，其中每个文件的大小或批处理大小可以根据您对上一个脚本的频率进行控制。

3. 现在，您所要做的就是设置一个服务，该服务在对象/文件创建时不断轮询 S3，然后根据需要对其进行处理，并将处理后的文件放入另一个存储桶中。我们称之为 B2。

4. 设置另一个 python 脚本/ETL 步骤，从存储桶 B2 远程执行 COPY 命令。

这只是一个初步的想法。你必须在这种方法上发展并优化它。祝你好运！