我需要将来自 DynamoDB 的数据汇总到 AWS Redshift，并且我需要准确且同步。对于 ETL，我计划将 DynamoDB Streams、Lambda 转换、Kinesis Firehorse 用于最后的 Redshift。
更新数据的流程如何？我发现这一切都针对 ETL 进行了微调。哪个应该是保持（Dynamo 和 Redshift）同步的最佳选择？
这些是我目前的选择：
有这方面的经验吗？也许 Redshift 不是最好的解决方案？我需要提取汇总数据，以便对 2 TB 数据进行报告/仪表板。
【问题讨论】：
标签： aws-lambda amazon-dynamodb amazon-redshift etl amazon-kinesis-firehose
Redshift COPY 命令支持使用 DyanmoDB 表作为数据源。在您的情况下，这可能是也可能不是可能的解决方案，因为此过程存在一些限制。数据类型和表命名差异可能会让您大吃一惊。此外，这对于增量更新不是一个很好的选择，但如果数据量很小并且您可以设计更新 SQL，则可以这样做。
查看 DynamoDB Stream 的另一条途径。这将通过 Kinesis 路由数据更新，并可用于以合理的速率更新 Redshift。这有助于保持这些数据库之间的数据同步。这可能会使数据尽快可供 Redshift 使用。
请记住，您不会让 Redshift 逐时匹配。这就是你所说的“同步”吗？这些是非常不同的数据库，具有非常不同的用例和架构来支持这些用例。 Redshift 在大块数据中的工作比在 DynamoDB 中通常发生的变化要慢。将在“块”中更新 Redshift，这比在 DynamoDB 上发生的频率更低。我已经将系统设置为 5 分钟间隔，但 10-15 分钟更新间隔是在尝试保持仓库同步时最常见的结果。
另一种选择是不经常（每小时？）更新 Redshift，并使用联合查询将“最近”数据与存储在 Redshift 中的“旧数据”结合起来。这是一个更复杂的解决方案，可能意味着对您的数据模型进行更改以支持但可行。因此，仅当您确实需要同时查询最近的数据以及更旧和更大的数据时才去这里。
【讨论】：
最适合的答案是使用带有 UPSERT 操作的暂存表（或对其进行 Redshift 解释）。
我发现答案在我的用例中有效：
这是架构：
因此，我们不断地使用相同的 COPY 机制从 Kinesis 加载，但我们不是直接加载到决赛桌，而是使用暂存机制。一旦批处理加载到暂存中，我们就会在两个表之间寻找重复项。在执行 INSERT 之前，最终表上的那些重复项将被删除。
尝试此操作后，我发现同一批次的所有 DELETE 操作如果包含在唯一事务中，性能会更好。此外，还需要 VACUUM 操作来重新平衡新负载。
有关 UPSERT 操作的更多详细信息，我发现this source 非常有用。
【讨论】：