使用 Lambda 函数将 DynamoDB 表作为 JSON 导出到 S3答案

【问题标题】：Export DynamoDB Table as JSON to S3 Using Lambda Function使用 Lambda 函数将 DynamoDB 表作为 JSON 导出到 S3
【发布时间】：2021-03-01 13:29:16
【问题描述】：

我正在尝试将 DynamoDB 表以 JSON 格式导出到 S3，然后从那里将其导入 BigQuery。重要的部分是将 DynamoDB 表作为 JSON 格式导出到 S3，因为我正在处理的表不是一个小表。该表包含 560 万条记录，每天插入大约 15.000 条（在平静的日子）新记录。我遇到了一篇博客文章，其中建议使用 Lambda（参考：http://randomwits.com/blog/export-dynamodb-s3）函数，但 table.scan() 函数不适用于大型表。

那么，如何将 JSON 格式的 DynamoDB 表导出到 S3 并从那里有效地将其导入 BigQuery？我看到了一些选项，例如 HEVO、Glue 等。但我不知道哪种方式最有效。

【问题讨论】：

DynamoDB 有一个新功能“导出到 S3”，它提供了一个很好的解决方案，但在这种情况下，我必须为 Amazon DynamoDB 启用时间点恢复 (PITR)。我不确定它是否值得，解决方案是否有效。
我个人会启用 PITR。相关：stackoverflow.com/questions/18896329/export-data-from-dynamodb 和 stackoverflow.com/questions/33357821/…。
@M.EceErcan 请通过以下链接。 aws.amazon.com/blogs/aws/…

标签： amazon-web-services amazon-s3 aws-lambda amazon-dynamodb

【解决方案1】：

您可以使用 AWS lambda 执行此操作，lambda 由 DynamoDB 流触发，然后此 lambda 将写入云日志记录，您必须从云日志记录创建接收器并作为目标进行大查询

【讨论】：

这将有助于导出新数据，而不是现有数据。
然后你可以利用dynamodb导出到s3，然后使用athena查询数据，查询结果可以放到新的bucket -> AWS Lambda -> Cloud Logging -> Sink to BQ docs.aws.amazon.com/amazondynamodb/latest/developerguide/…
对，我只是指出您的答案涉及变更数据捕获，而不是原始数据。