多个客户端到后端服务器的单个 HTTP 持久连接答案

【问题标题】：Multiple clients into a single HTTP persistent connection to the back-end server多个客户端到后端服务器的单个 HTTP 持久连接
【发布时间】：2014-04-04 15:48:31
【问题描述】：

我正在开发一个同时为数百名用户提供服务的网络企业应用程序。目前我们发现有时我们的 Jetty 服务器的 TCP 连接太多，导致我们的服务器变慢。

我们听说一些负载平衡器支持 TCP 卸载，它将来自多个客户端的多个 HTTP 请求合并到一个 TCP 套接字到后端服务器。

我们研究过HAProxy、Nginx和Varnish，但找不到相关的特性。

我想知道是否有任何负载平衡或反向代理软件支持将多个客户端整合到一个到后端服务器的单个 HTTP 持久连接中。

【问题讨论】：

标签： http tcp nginx webserver load-balancing

【解决方案1】：

有负载平衡器可以做到这一点。我绝对知道可以做到的两个是 F5 的“Big-IP LTM”（使用 OneConnect 功能）和 Shaka Technologies 的“Ishlangu 负载平衡器 ADC”。

F5's description for OneConnect:

BIG-IP 系统 OneConnect 功能可以通过有效管理在 BIG-IP 系统和后端池成员之间创建的连接来提高网络吞吐量。 OneConnect 功能与 HTTP Keep-Alives 配合使用，允许 BIG-IP 系统通过使现有连接可供其他客户端重用，从而最大限度地减少服务器端 TCP 连接的数量。

Shaka Technologies description for Connection Multiplexing:

Ishlangu 负载平衡器 ADC 的连接多路复用功能通过降低后端服务器上的并发连接和连接速率来提高 Web 应用程序性能并降低服务器负载。

连接多路复用为多个客户端重用到每个服务器的 TCP 连接。更少的打开连接和更少的打开/关闭连接会降低每台服务器的资源消耗。将每台服务器的资源利用率降至最低，从而实现服务器整合，从而节省运营成本。

【讨论】：

感谢您提供基于硬件的解决方案的信息。不知道有没有什么软件和库可以实现这个目标。
我知道 Shaka Technologies 的 Ishlangu 是一个基于软件的解决方案。他们不卖硬件。它们提供虚拟设备（例如 VMWare、Xen、Hyper-V）和裸机服务器映像。我相信 F5 还为其 BIG-IP LTM 提供虚拟设备。