非阻塞 TCP 缓冲区问题

Question

我认为我遇到了问题。我有两个相互连接的 TCP 应用程序，它们使用 winsock I/O 完成端口来发送/接收数据（非阻塞套接字）。

在出现数据传输突发之前，一切正常。发件人开始发送不正确/格式错误的数据。

我在堆栈上分配我要发送的缓冲区，如果我理解正确，那是错误的做法，因为这些缓冲区应该在我发送它们时保留，直到我从 IOCP 收到“写入完成”通知。

以此为例：

void some_function()
{
    char cBuff[1024];

    // filling cBuff with some data

    WSASend(...); // sending cBuff, non-blocking mode

    // filling cBuff with other data

    WSASend(...); // again, sending cBuff

    // ..... and so forth!
}

如果我理解正确，这些 WSASend() 调用中的每一个都应该有自己唯一的缓冲区，并且只有在发送完成时才能重用该缓冲区。
对吗？

现在，我可以实施哪些策略来维护大量此类缓冲区，我应该如何处理它们，如何避免性能损失等？
而且，如果我要使用缓冲区，这意味着我应该将要从源缓冲区发送的数据复制到临时缓冲区，因此，我会将每个套接字上的 SO_SNDBUF 设置为零，这样系统就不会重新复制我的内容已经复制了。你和我在一起吗？如果我不清楚，请告诉我。

Answer 1

我认为在第一次发送完成之前进行第二次发送不是一个好主意。

同样，我认为在发送完成之前更改缓冲区不是一个好主意。

我倾向于将数据存储在某种队列中。一个线程可以继续向队列中添加数据。第二个线程可以循环工作。发送并等待它完成。如果有更多数据，请再次发送，否则等待更多数据。

您需要一个临界区（或类似的部分）来很好地在线程之间共享队列，并且可能需要一个事件或一个信号量，以便发送线程在没有数据准备好时等待。

Answer 2

现在，我可以实施哪些策略来维持大量此类缓冲区，我应该如何处理它们，如何避免性能损失等？

如果不了解您的具体设计，就很难知道答案。一般来说，我会避免维护自己的“缓冲区袋”，而是使用操作系统内置的缓冲区袋 - 堆。

但无论如何，在一般情况下，我会做的是向代码的调用者公开一个接口，该接口反映了 WSASend 对重叠 i/o 所做的事情。例如，假设您正在提供一个接口来发送特定结构：

struct Foo
{
   int x;
   int y;
};

// foo will be consumed by SendFoo, and deallocated, don't use it after this call
void SendFoo(Foo* foo);

我会要求 SendFoo 的用户使用 new 分配一个 Foo 实例，并告诉他们在调用 SendFoo 后内存不再由他们的代码“拥有”，因此他们不应该使用它。

您可以通过一些小技巧进一步执行此操作：

// After this operation the resultant foo ptr will no longer point to
// memory passed to SendFoo
void SendFoo(Foo*& foo);

这允许 SendFoo 的主体将内存地址向下发送到 WSASend，但将传入的指针修改为 NULL，从而切断调用者代码与其内存之间的链接。当然，你无法真正知道调用者对那个地址做了什么，他们可能在别处有一份副本。

此接口还强制每个 WSASend 使用单个内存块。试图在两个 WSASend 调用之间共享一个缓冲区，您真的踏入了一个危险的领域。

Answer 3

认真看看boost::asio。异步 IO 是它的专长（顾名思义）。它是一个相当成熟的库，从 1.35 开始就在 Boost 中。许多人在生产中使用它来进行非常密集的网络连接。文档中有大量的examples。

有一件事是肯定的 - 与 buffers 合作需要非常认真。

编辑：

处理突发输入的基本思路是排队。

• 例如，创建三个预分配缓冲区的链接列表 - 一个用于空闲缓冲区，一个用于待处理（接收）数据，一个用于待发送数据。
• 每次您需要发送一些东西时 - 从 free 列表中取出一个缓冲区（如果空闲列表为空，则分配一个新缓冲区），填充数据，将其放入 to-be -发送列表。
• 每次您需要接收某些东西时 - 从上面的 free 列表中取出一个缓冲区，将其交给 IO 接收例程。
• 定期从待发送队列中取出缓冲区，将它们交给发送例程。
• 在发送完成时（内联或异步） - 将它们放回 空闲 列表中。
• 接收完成时 - 将缓冲区放入待处理列表。
• 让您的“业务”例程从待处理列表中删除缓冲区。

然后，突发将填充该输入队列，直到您能够处理它们。您可能希望限制队列大小以避免耗尽所有内存。