如何修复“DocumentDB 数据迁移工具”答案

【问题标题】：How to fix "DocumentDB data migration tool "如何修复“DocumentDB 数据迁移工具”
【发布时间】：2019-01-24 07:17:24
【问题描述】：

我正在使用 DocumentDB 数据迁移工具将 AWS DynamoDB 数据迁移到 Azure CosmosDB，但我收到大表数据错误。

似乎 DocumentDB 数据迁移工具的最大数据传输容量为 500k 字节，但我有一个 dynamo DB 表，其数据约为 315 Mb。那么还有其他方法/工具可以将数据从 Dynamo DB 传输到 cosmos DB 吗？

我还尝试将 dynamo DB 转换为 JSON 文件并将其上传到 cosmos DB 集合，但 cosmos DB 集合的最大大小为 2mb。在 image2 中，仅显示大数据文件的错误，而我尝试使用小于 500k 字节大小的文件，它工作正常。

预览阶段

错误图片

【问题讨论】：

【解决方案1】：

所以还有其他方法/工具可以从 Dynamo DB 传输数据到 cosmos DB？

看来你是被Cosmos DB的限制所困。既然你可以将数据转换成json文件，也许你可以考虑以下方式。

1.将json文件存入Azure Blob Storage。

2.使用Azure数据工厂数据工厂Copy Activity将数据从blob storage传输到cosmos db。

我早就料到你可能会遇到大数据的性能瓶颈，请参考document。

如果还是不能顺利传输，建议你用代码对json文件进行分片，不要超过2MB。

提示：顺便提一下，您可以投票feedback 来推动在 Azure 数据工厂中添加 Amazon DynamoDb 数据源的进度。

谢谢。

【讨论】：

【解决方案2】：

因为我在 dyanamo DB 中有大约 40 GB 的数据，并且想将其移动到 Cosmos DB。但是 cosmos DB 有一些限制，虽然直接复制不会允许 json 数据大小超过 2 mb。

我使用相同的工具并将 DynamoDB 数据转换为 json 格式并存储在服务器上，完成后我使用相同的 DocumentDB 数据迁移工具将该 json 数据上传到 cosmos DB。

感谢您的回复。

【讨论】：