有多少长期并发 TCP 会话被认为是合理的？

Question

我正在 Linux 中开发一个 TCP 服务器，它最初可以处理数千个并发客户端，这些客户端旨在长期存在。然而，在开始实现一些功能之后，我为那些阻塞的调用创建了一个线程池，这些调用应该分开完成，比如数据库或磁盘访问。

经过一些测试，在请求“许多”异步函数的高负载下，由于许多任务被排队，我的服务器开始滞后，因为它们到达的速度比处理它们的速度快。这些任务在纳秒内解决，但有数千个。我明白这是完全正常的。

我当然可以在负载均衡器或购买具有更多内核的更好服务器之后发展，但是，在实践中，作为行业标准，在这样的服务器中，有多少并发的长寿命 TCP 会话被认为是一个“好”的数字像我描述的这个？我怎么能说我得到的并发连接数“足够好”？

Answer 1

很遗憾，没有一个神奇的数字可以回答你的问题，但我有一些注意事项让你找到你的数字：

• 首先，每个操作系统都有自己的最大 同时连接，因为端口号是有限的。所以 检查你是否没有侵入这个号码，否则每一个新的 您的服务器将拒绝连接。
• 为了确定您可以同时连接多少个连接，您必须为您的服务建立一个最大响应时间。

请记住，即使有同时连接、多核 CPU 等......响应也将由同一个网络发出并出现瓶颈。因此，我建议您对您的架构进行负载和压力测试，以便找到您可接受的延迟限制。

---

TL;DR： 没有神奇的答案，你应该做一个负载和压力测试来找到它。