Puma 可以同时缓冲多少个请求？

Question

我了解 Puma 与其他 Rails Web 服务器相比的优势在于它如何处理慢速客户端。虽然 Puma 服务器接收并下载（可能很慢）请求，但它仍然可以接收和下载其他可能下载速度更快的请求，并在完成接收慢速请求之前将其传递给工作人员进行处理。

但我找不到任何有关此限制（如果有）的信息。

Puma 可以同时下载任意数量的请求吗？如果 1000 个慢请求同时命中它，假设它不是慢请求，第 1001 个请求是否会首先到达 Puma 工作人员？

我想我通常感兴趣的是多个慢请求对其他请求（包括彼此）的影响 - 因为我正在开发一个可能涉及大量“慢请求”的应用程序（从手机上传的图像通过 3G）。

@nate-berkopec 的This great article 原则性地解释了 Puma 如何帮助慢速客户端：“在集群模式下，Puma 可以处理慢速请求（感谢一个单独的主进程，它负责下载请求和把它们传下去）......”任何人都可以释放更多的光将非常受欢迎。

Answer 1

有许多考虑因素，例如 IO 轮询系统、内存和并发问题。

IO轮询系统

编辑（2020 年 9 月 9 日）：现在 Puma 服务器在 nio4r 上运行，不应再受到 select 系统调用的限制（其中文件描述符值限制为 1023)。

据我所知，Puma 使用select 系统调用（与碘或乘客不同，它也可以保护您免受慢速客户端的影响，但使用kqueue 或epoll）。

select 系统调用在大多数系统上受到限制（通常最多 1024 个客户端 /maxfd）。我认为这会造成限制。

但是，我知道 Puma 正在努力将 select 系统调用替换为既便携又有效的东西（例如利用 nio4r gem）。

我不知道这是否已经实现，但它会打破这个限制并可能会提高性能。

内存

缓慢的客户端仍然会消耗内存，因为它们会缓慢地用其标头数据填充缓冲区或缓慢下载已发送的缓冲数据（将缓冲区保留在内存中直到下载完成）。

内存限制总是会增加对缓慢客户端处理的限制。

可以提高一些限制，例如使用 X-Sendfile 发送静态文件（支持 iodine，并且当 Puma 或乘客在 nginx 下运行时）...但这并不是您可以解决的问题。

并发

Puma 在 Ruby 的 GIL（全局指令锁）中处理慢速客户端。这意味着当 Puma 处理慢速客户端时，没有其他线程/指令可以执行。

这通常不是问题，但足够多的慢客户端会增加上下文切换和系统调用的成本。这可能（可能）大大降低服务器速度。

Passenger 和 iodine 在 GIL 之外执行慢速客户端缓冲，允许这些系统调用真正并发（当多个 CPU 内核可用时）。

这将缓解问题，但不能完全解决问题。

结论和注意事项

最大的问题通常是 IO 轮询系统。 Puma 的路线图上有一个解决方案（可能已经实施，我不确定）。

其他问题（内存限制和并发限制）相对不那么重要，但如果不使用语言扩展（碘服务器是用 C 编写的，Passenger 是用 C++ 编写的）就无法缓解这些问题。

由于 Puma（目前）不需要任何语言扩展（除了它在 C 和 Java 中集成的 HTTP 解析器），这些问题仍然存在。

我应该指出，我是碘 HTTP/Websocket 服务器的作者，所以我有些偏见。