每天更新 S3 存储桶的最佳 AWS 方式？

Question

这是当前架构：

• 用户数据保存到 DynamoDB 中
• 统计数据保存到 S3（25000 个 JSON 对象，65KB/对象）
• 应用通过 Lambda 与 DynamoDB 对用户进行身份验证
• 应用从 API 网关端点读取统计信息，这会触发从 S3 读取并返回的 lambda（每次一个 S3 对象）。
• 统计数据需要更新，我有一个被动更新逻辑。每次 lambda 从 S3 读取数据时，我都会检查 MetaData，如果它已过时，则覆盖现有的。

一切正常，但现在需求发生了变化。

• 我们需要每天对所有 25000 个对象进行一些分析。
• 必须在更新完所有 25000 个 JSON 对象后进行分析

最好的 AWS 方法是什么？

我只是想：

1. 有一个预建列表，
2. 然后每天使用 lambda 将所有更新命令推送到 SQS（由 EventBridge 触发），然后，
3. 依次触发 lambda 处理器以逐一更新 S3 对象。
4. 队列为空时，使用AWS Athena进行分析，
5. 将结果保存到 DynamoDB 表中，完成。

有没有更好的方法，使用 lambda 将 25000 条消息推送到 SQS 是否太多？会需要很长时间吗？我将处理 lambda 中的重复消息，因此可以使用标准队列。

Answer 1

你好像在问：

1. 如何在 S3 中查询 25,000 个 JSON 文件，以及
2. 在进行查询之前如何强制更新所有这些文件。

Amazon Athena 应该适合 #1。每次查询的成本约为25,000 x 60Kb x $5/TB = $0.0075。可以通过以压缩的 gzip 格式保存或使用 JSON 文件以外的其他文件来降低此成本。您可以测试对当前（过时）文件的查询，以确认它是否按预期工作。我建议在文件子集（例如 100 个文件）上对其进行测试，以确认它可以执行您想要的操作。

您对 25,000 个文件强制更新的计划似乎不错，这可能涉及将 25,000 条消息推送到 Amazon SQS 队列中，然后触发 AWS Lambda 函数。您可以编写函数来处理最多 10 个批处理大小的多条消息，或者将批处理大小限制为 1 并在每个函数执行时处理一条消息。

所需时间取决于处理每个 JSON 文件所需的时间，但 Lambda 函数可以并行运行（默认情况下最多 1000 次并发执行，但能够爆发更高，请参阅：AWS Lambda quotas)。我建议您先在文件子集上对其进行测试（例如，从队列中的 10 或 100 条消息开始）。

发送到 Amazon SQS 队列的消息数量没有限制。