迁移数据时在 DynamoDB 表中映射属性

Question

我有两个包含以下项目的 DynamoDB 表：

表_1

• SomeId：字符串

• 名称：字符串

表_2

• ID：字符串

• 名称：字符串

• 姓：字符串

这是我需要的：

1. 将数据从 Table_1 迁移到 Table_2。
2. 将 Table_1.SomeId 属性映射到 Table_2.Id 属性
3. 迁移时为 Table_2.Surname 设置默认值

我查看了 Amazon Data Pipeline 服务。显然，您可以将 Table_1 中的数据导出到 S3。然后，将 S3 中的数据导入 Table_2。

http://docs.aws.amazon.com/amazondynamodb/latest/developerguide/DynamoDBPipeline.html

如果表具有不同的架构，我看不到如何映射属性。

我找到了基于使用 SDK 从头开始​​编写控制台应用程序的解决方案。有什么更好的建议吗？

Answer 1

我认为解决此问题的一种方法是使用 Hive。您基本上可以将数据从 Dynamo 加载到 S3，使用 EMR 集群运行 Hive 脚本并从 S3 导出回 Dynamo。

这里有一个非常相似的例子： https://github.com/awslabs/data-pipeline-samples/tree/master/samples/DynamoDBToRedshiftConvertDataUsingHive

在此示例中，转换后的数据被放入 Redshift，因此您可以将该步骤替换为导入步骤。

或者，采用以下示例： https://github.com/awslabs/data-pipeline-samples/blob/master/samples/dynamodb-to-dynamodb/pipeline.json

并在中间添加上一个示例中的 EMR 上的 Hive。

希望这会有所帮助。