java.nio 对 Web 服务器有什么好处？答案

【问题标题】：What are the benefits of java.nio for a web server?java.nio 对 Web 服务器有什么好处？
【发布时间】：2013-04-06 10:57:54
【问题描述】：

我知道这是一个反复出现的问题，并且我读过类似以下 http://www.mailinator.com/tymaPaulMultithreaded.pdf 的文章，说 nio 的扩展性不一定比 io 好。

但是我很难看到在开发 Web 服务器时 java nio 如何比传统的接受器/工作线程架构更好地扩展？让我解释一下：

通常 Java Web 服务器使用以下模式来处理连接：

在ServerSocket的accept()方法上，一些受核数限制的acceptor线程：

while (true) {
  socket = serverSocket.accept();
  // handleRequest submits the socket to a queue
  handleRequest(socket);
  socket.close();
}

当客户端套接字被检索到时，它被提交到一个非阻塞队列，然后由工作线程池中的一个工作线程处理。工作线程的数量取决于正在执行的 io 操作的持续时间。

如何使用 java.nio 使这个架构更具可扩展性？

我的意思是我仍然需要有工作线程来处理执行阻塞操作的请求（访问数据库或文件系统，调用外部服务）。如果后端操作不像在 node.js 中那样异步执行，我仍然需要工作线程来限制整体可伸缩性与 1 或 2 个事件调度程序线程。

【问题讨论】：

NIO 在您有长时间运行的空闲连接时更有用。因此，例如，一个大量使用长轮询的应用程序将能够使用 NIO 处理比使用 IO 更多的请求，因为每个长轮询连接都会阻塞并占用一个线程。对于 NIO，情况并非如此。
减少线程数——更多的线程，更多的系统调用。

标签： java networking io nio

【解决方案1】：

我真的很喜欢 Paul Tyma 关于这个问题的文章，它真的很深入。我会在他的文章中看到两个要点：

您可以使用传统的阻塞 IO 获得更好的吞吐量（他测量过）
传统的阻塞 IO 使您的服务器逻辑变得不那么复杂——客户端-服务器对话的状态隐式定义在线程流中。

使用非阻塞 NIO 的主要原因是当您有许多许多同时的空闲请求时。这样做的原因是：使用 NIO，您可以从同一个线程处理多个请求，这更好。

好的，这是您可以在任何地方阅读的内容。现在...为什么这更好？

有两个主要原因，这与每个线程带来的两种不同的开销有关：

当调度程序更改处理器正在执行的线程时，会有一个“上下文切换”，这可能是一项代价高昂的操作（即线程在处理器中具有某种状态——寄存器中的值、加载的大量数据L1、L2、L3 缓存等——当线程停止时必须将其“保存”在某处，并在线程继续执行时“重新加载”；此外，当您丢失 L1、L2、L3 缓存的内容时，您可能会获得大量缓存未命中，这可能是坏的（或不是，取决于工作负载））
每个线程都必须分配自己的、独立的栈（通常用于存储局部变量和函数调用的返回地址）

因此，每个线程都带有更多“浪费”的内存和可能“浪费”的处理器周期（以执行“上下文切换”）。

现在，假设您有一个聊天服务器，客户端建立 HTTP 连接以请求新消息，并且您的服务器仅在该客户端有新消息时才会回复它们（以便客户端立即接收新消息）。假设您有 10k 个这样的客户。在传统的、阻塞的、每个连接线程的模型中，您将拥有 10k 个线程。在 Java 中，线程堆栈大小 (-Xss) 的典型标准值为 256kb。使用 10k 线程，您将自动使用大约 2GB 内存！！！！！！！！！更糟糕的是：即使您的聊天服务器上没有任何活动，也没有发送消息，客户端仍然让您浪费这 2GB。添加大量上下文切换，您就会发现问题。

在这种情况下，您最好使用非阻塞 NIO，其中更少的线程（最终只有 1 个！）足以处理所有 10k 客户端，因此您可以节省上下文切换（即 cpu时间）和线程堆栈（即内存），甚至以更复杂的代码为代价，这通常是使用非阻塞 NIO 的副作用。

【讨论】：

添加Paul Tyma's article的链接供有兴趣阅读的人阅读。
感谢您提供如此详细的答案。

【解决方案2】：

NIO 或非阻塞 IO 可以很好地扩展以实现高并发，您不需要为每个连接使用专用线程，您只需要一个主线程来接受连接并有几个其他工作线程来处理 IO，线程数是固定的，这也是它比传统的接受器/工作线程架构更具可扩展性的主要原因。

【讨论】：