最佳方法：如何将 dynamodb 表导出到 csv 并将其存储在 s3

Question

我们有一个 lambda，它会在一些操作后更新 dynamodb 表。

现在我们要将整个 dynamodb 表导出到 csv 格式的 s3 存储桶中。

任何有效的方法来做到这一点。

我还发现了以下直接从 dynamodb 流式传输到 s3 的方式

https://aws.amazon.com/blogs/aws/new-export-amazon-dynamodb-table-data-to-data-lake-amazon-s3/

但在上面它将以 json 格式存储。并且无法找到有效处理 10GB 数据的方法

Answer 1

据我所知，有三个“简单”选项。

选项 #1：执行扫描的程序

编写一个对表进行（并行）扫描然后以 CSV 格式输出结果的程序是相当简单的。一个没有花里胡哨的版本是大约 100-150 行 Python 或 Go 代码。

优点：

1. 易于开发
2. 可以从本地机器或 CI/CD 管道或其他任何方式轻松运行多次。

缺点：

1. 这会花费你一些钱。扫描整个表会用完一些读取单元。根据您阅读的数量，这可能会很快变得昂贵。
2. 根据数据量，这可能需要一段时间。

---

注意：如果您想在 Lambda 中运行它，请记住 Lambda 最多可以运行 15 分钟。因此，一旦您的数据超出这 15 分钟内的处理能力，您可能需要切换到 Step Functions。

选项 #2：处理 S3 备份

DynamoDB 允许您创建表到 S3 的备份（正如文章所描述的那样）。这些备份将采用 JSON 或类似 AWS 格式的 JSON。然后，您可以编写一个将这些 JSON 文件转换为 CSV 的程序。

优点：

1. （很多）比扫描便宜

缺点：

1. 需要更多“管道”，因为您需要先创建备份，然后将其从 S3 下载到您要处理的任何位置等。
2. 可能需要比选项 #1 更长的时间