AWS - 从/向 AWS 存储传输和检索大规模数据的最佳方式

Question

我有一个中间使用 AWS 的 Ionic 移动混合应用程序 例如 API 网关触发 lamdba 函数以进行简单的发布、获取请求。

我想在 AWS 上存储大型 json（大约 5K 项），以便可以轻松检索并存储在应用程序的本地存储中。

我正计划创建一个 ETL cron 作业，为此目的将数据从我的服务器上传到 AWS

AWS 提供的服务很少，例如 Redis、DynamoDB 可用于此场景，但我对实现此目的的方法感到困惑。

我思考并阅读了几个选项：

1. API 网关 -> DynamoDB
2. API 网关 -> lambda 函数 -> DynamoDB
3. API 网关 -> lambda 函数 -> Redis

我还阅读了有关 S3 和 pipline 的信息，但我不确定它们是否适合。

请指教。

谢谢

Answer 1

首先，Redis 并不是最适合您的要求。将 API Gateway 与 DynamoDB 或 Lambda 结合使用将满足您的要求。

1. API Gateway -> DynamoDB：选择您是否只是尝试将 JSON 数据存储到 DynamoDB 中而不使用

2。 API Gateway -> Lambda -> DynamoDB：选择是否需要在存储到 DynamoDB 之前对 JSON 数据执行一些操作或修改。

建议：选择第一种方法（API Gateway -> DynamoDB），使用 API Gateway POST 请求将 JSON 数据存储到 DynamoDB 中，并根据使用查询检索 JSON 数据API 网关 GET 请求。

如何实施第一种方法请关注此亚马逊博客：https://aws.amazon.com/blogs/compute/using-amazon-api-gateway-as-a-proxy-for-dynamodb/

Answer 2

如果我正确理解您的问题，您希望将 JSON 文件 数据从您的服务器放入 AWS，以便您的移动客户端（使用 Lambda 等...）更快地访问该数据

在这种情况下，AWS S3 就足够了（前提是您知道将向您的客户提供什么 JSON 文件，并且您不必查看/查询它的内容）。它应该是这样的：

[ Server ] ==[Whatever]==> [ AWS S3 ]

[ AWS S3 ] <==[Lambda]==> [ Mobile client ]

对于[随便]，请查看Amazon's document。可能是sync可以帮忙

编辑：阅读您的评论后，我意识到您的意图是将当前在您的 oracle 数据库中的数据放入 AWS 上基于 JSON 的数据库中。在这种情况下，DynamoDB 就是要走的路。您应该遵循@Haresh Chhelana 的解决方案并编辑您的问题以更清楚

如果您在迁移到 DynamoDB 之前不需要高级数据转换，也可以利用 DMS with DynamoDB as the target