使用 AWS Athena 分析 DynamoDB 数据

Question

我有一个 DynamoDB，其中包含要为其创建仪表板的表和项目。经过研究，我了解到 AWS Athena 和 Quicksight 允许我分析、查询并为我的站点创建仪表板。我设置了所有必要的连接器，以通过 Lambda 将 Dynamo 表项流式传输到 S3 存储桶，该存储桶使用 AWS Glue 进行爬网，然后在 Athena 中访问。我的问题是，这是否意味着我所有的 DynamoDB 表项都存储了两次？一次在 DynamoDB 中，一次在 Athena 用来查询数据的 S3 存储桶中？

将我的数据放在两个位置是否可行？还有其他解决方案吗？

Answer 1

将 DynamoDB 数据存储在其他数据存储中是很常见的，尤其是因为 DynamoDB 不适合全文搜索并且分析全表的成本很高。所以，是的，数据将被复制。

最常见的模式是：

• 正在加载Dynamo data into Elastic Search 以支持全文搜索。
• 将 Dynamo 数据加载到 S3 数据湖并从 Athena 查询以进行报告或for archiving purposes。