将现有 DynamoDB 项目导出到 Lambda 函数答案

【问题标题】：Export existing DynamoDB items to Lambda Function将现有 DynamoDB 项目导出到 Lambda 函数
【发布时间】：2019-04-07 04:53:04
【问题描述】：

是否有任何 AWS 托管解决方案允许使用 DynamoDB 作为源和 Lambda 函数作为接收器来执行本质上的数据迁移？

我正在设置一个 Lambda 来处理 DynamoDB 流，并且我希望能够使用同一个 Lambda 来处理所有现有项目，而不必在 Spark 或 Hive 作业中重写相同的逻辑适用于 AWS Glue、Data Pipeline 或 Batch。（我可以接受 Lambda 的输入与 DynamoDB 流记录不同——我可以在我的 Lambda 中处理它——我只是想避免在其他地方重新实现我的业务逻辑。）

我知道我可以构建自己的设置来运行全表扫描，但我也在努力避免任何无差别的繁重工作。

编辑： 一种可能性是更新 DynamoDB 中的所有项目，以便触发 DynamoDB Stream 事件。但是，我的问题仍然存在 — 是否有 AWS 托管服务可以为我做到这一点？

【问题讨论】：

如何对所有 dynamodb 条目进行小修改（可能添加一个随机字段），以便它们进入 dynamodb 流。
这是我在想的事情之一。我希望尽可能使用托管 AWS 服务，因为这是一次性的，我不想为一次性表扫描作业构建自己的容错能力。

标签： aws-lambda amazon-dynamodb aws-glue aws-batch aws-data-pipeline

【解决方案1】：

您可以创建新的 kinesis 数据流。将此作为触发器添加到您现有的 lambda 函数。 Create a new simple lambda function 扫描整个表并将记录放入此流中。而已。

您的业务逻辑保留在您的原始功能中。您正在通过 kinesis 将现有数据从 dynamodb 发送到此函数。

参考：https://aws.amazon.com/blogs/compute/indexing-amazon-dynamodb-content-with-amazon-elasticsearch-service-using-aws-lambda/

【讨论】：

出于安全原因，lambda 可能没有对表的读取权限。