如何优化 AWS s3 使用以处理“请降低您的请求率”问题

Question

我正在研究读/写请求的数量随着数据大小的增加而增加的项目。 但是当我们正在测试 50GB 的数据时，我们正在向 s3 发出大量的读/写请求，并且 s3 抛出“请降低您的请求率”错误。我们不能选择减少请求的选项，所以有什么方法可以更聪明地使用 s3 来避免这个问题。 任何帮助将不胜感激。

Answer 1

您需要跨多个 s3 前缀分配负载。

Amazon S3 自动扩展到高请求率。例如， 您的应用程序可以达到至少 3,500 PUT/POST/DELETE 和 5,500 存储桶中每个前缀的每秒 GET 请求数。没有限制 桶中前缀的数量。增加阅读量很简单 或以指数方式写入性能。例如，如果您创建 10 Amazon S3 存储桶中的前缀以并行读取，您可以扩展 您的读取性能达到每秒 55,000 个读取请求。

查看here