在 Linux 中选择慢速套接字

Question

我遇到了一个奇怪的问题，即在 Linux 中的套接字上 select 花费了意想不到的时间。

• 服务器一直在接收数据，接收套接字缓冲区大小为65536。
• 一个客户端一直在发送数据，发送套接字缓冲区大小为4096。

一般来说，数据传输非常快。但是：客户端中的一个选择来测试写入是否不会阻塞需要很长时间（发送数据而不调用select之前：0.5s，发送相同的数据在实际发送数据之前调用select：5s）。该问题特定于缓冲区大小。如果我将客户端中的发送缓冲区增加到 4*4096，问题就会消失。

现在我想知道为什么特定缓冲区大小的选择需要这么长时间。示例代码在这里：http://pastebin.com/PqisLnLU

相同的代码在 Windows 甚至 Linux 的 Windows 子系统上运行而没有这些奇怪的行为。

谢谢！

Answer 1

您看到了Nagle's algorithm 的效果，它用于以延迟为代价提高 TCP 吞吐量。

写入相对较小，并且会延迟，以防在不久的将来写入更多数据，然后可以将这些数据捆绑在一个 IP 数据包中。当您在发送之前使用select 时，您不会发送更多（因为发送缓冲区仍然是满的），因此在发送数据包之前会有很大的延迟（并且缓冲区被清空）。相反，当您不使用 select 时，缓冲区已满，因此当您 send 更多时，它会立即通过网络堆栈分流。

（我猜你是在同一台机器上运行你的客户端和服务器程序，所以它们之间的“网络”连接实际上是环回接口，它具有相当高的 MTU；否则，Nagle 的算法可能不会在这里成为一个问题）。

当您充分增加缓冲区大小时，在填充缓冲区期间的某个时间点会达到合适的 IP 数据包大小，并且数据会立即通过网络推送（并在确认接收时从发送缓冲区中清除） - 所以没有延迟。

尝试禁用 Nagle 算法（在客户端）：

#include <netinet/tcp.h>

...

value = 1;
if (setsockopt(sockfd, IPPROTO_TCP, TCP_NODELAY, (char*)&value, sizeof(int)))
{
    printf("\n Error : SetSockOpt TCP_NODELAY Failed \n");
}

您会看到使用select 的变体与没有select 操作的变体一样快。

Answer 2

我想知道为什么特定缓冲区大小的选择需要这么长时间

因为客户端的发送缓冲区太小了。 4096 字节小于我所知道的任何操作系统的默认值。十多年前，Linux 上的默认值约为 52k。除非您的发送方的套接字发送缓冲区的大小与接收方的套接字接收缓冲区的大小相当，否则您不可能“填充管道”。

我还会质疑您为什么在客户端中使用非阻塞 I/O 和 select()。除非您连接到多个服务器，否则真的没有意义。只需使用专用线程并让它阻塞。