UDP 多个套接字高效接收数据和处理 - C & Linux

Question

我必须从 15 个不同的客户端接收数据，每个客户端都在 5 个不同的端口上发送数据。总共 15 *5 个插槽。

为每个客户端端口号定义和固定。例如客户端 1，端口 3001 到 3005。客户端 2，端口 3051 到 3055 等。它们有一个共同点，即第一个端口（3001，3051）用于发送命令。其他端口发送一些数据。

收到数据后，我必须检查校验和。跟踪recvd数据包，如果丢失重新请求数据包并且还必须写入硬盘上的文件。

限制 我无法更改上述设计，也无法从 UDP 更改为 TCP。 我读后知道的两种方法是

• 使用 select() 进行异步多路复用。
• 每个套接字线程。

我尝试了第一个，但我在获取数据时卡住了。我能够接收数据。我有一些处理要做，所以我想为每个套接字（或）为要处理的套接字启动一个线程（比如所有第一个端口，所有第二个端口等......即 3001,3051 等） 但是在这里，如果客户端发送任何数据，则 FD_ISSET 变为真，所以如果我启动一个线程，那么它就成为每条消息的线程。 问题： 如何在这里添加线程代码，假设我在 if(FD_ISSET ..) 中包含 pthread_create，那么对于我收到的每条消息，我都会创建一个线程。但我希望每个套接字都有一个线程。

  while(1)
   {
      int nready=0;
      read_set = active_set;

      if((nready = select(fdmax+1,&read_set,NULL,NULL,NULL)) == -1)
      {
        printf("Select Errpr\n");
        perror("select");
        exit(EXIT_FAILURE);
      }
      printf("number of ready desc=%d\n",nready);

      for(index=1;index <= 15*5;index++)
      {
         if(FD_ISSET(sock_fd[index],&read_fd_set))
         {              
           rc = recvfrom(sock_fd[index],clientmsgInfo,MSG_SIZE,0,
                    (struct sockaddr *)&client_sockaddr_in,
                      &sockaddr_in_length);
           if(rc < 0)
               printf("socket %d down\n",sock_fd[index]);

           printf("Recieved packet from %s: %d\nData: %s\n\n", inet_ntoa(client_sockaddr_in.sin_addr), ntohs(client_sockaddr_in.sin_port), recv_client_message);                                      
                }
         } //for
     } //while

Answer 1

在程序启动时创建线程并将它们划分为处理数据、命令等

怎么做？

1. lets say you created 2 threads, one for data and another for the commands.
2. make them sleep in the thread handler or let them wait on a lock that the main thread
   acquired, seems to be that mainthread got two locks one for each of them.
3. when any client data or command that got into the recvfrom at mainthread, depending on the 
   type of the buffer(data, commands), copy the buffer into the shared data by mainthread and 
   other threads and unlock the mutex. 
4. at threads lock the mutex so that mainthread wont' corrupt the data and once processing is 
   done at the threads unlock and sleep.

最好有一个队列，它被主线程填满，并且可以被其他线程以元素方式访问。

Answer 2

我假设每个客户端上下文都独立于其他上下文，即。一个客户端socket组可以独立管理，从socket中拉取的数据可以单独处理。

您表达了处理问题的两种可能性：

1. 异步多路复用：在此设置中，套接字全部由一个线程管理。这个线程 selects 下一个必须读取哪个套接字，并从中提取数据

2. 每个套接字的线程：在这种情况下，您拥有与套接字一样多的线程，或者更可能是一组套接字，即。客户 - 这是我将构建的解释。

在这两种情况下，线程必须保持各自资源的所有权，即套接字。如果你开始在线程之间移动套接字，你会让事情变得更加困难。

除了需要完成的工作之外，您还需要处理线程管理：

• 如何启动线程？
• 它们是如何以及何时停止的？
• 有哪些错误处理策略？

您的问题并未涉及这些问题，但它们可能在您的最终设计中发挥重要作用。

场景（2）看起来更简单：你有一个主要的“模板”（我在这里使用这个词的一般含义）来处理一组套接字，在它们上使用select，并在同一个线程中接收和处理数据。实现起来非常简单，结构体包含特定于上下文的数据（套接字端口，指向用于数据包处理的函数的指针），以及在选择和处理上循环的单个函数，可能还有其他一些错误检查和线程寿命管理。

场景 (1) 需要不同的设置：一个 I/O 线程读取所有数据包并将它们传递给专门的工作线程进行处理。如果发生处理错误，工作线程将不得不生成临时数据包发送给客户端，并将其传递给 I/O 线程进行发送。您将需要两种方式的数据包队列以允许 I/O 和工作人员之间的通信，并让 I/O 线程以某种方式检查工作人员队列以获取重新发送请求。所以这个解决方案在开发方面有点贵，但是将 I/O 争用减少到一个点。它也更加灵活，以防必须对来自多个客户端的数据进行一些处理，或者如果您想以某种方式链接处理。例如，您可以改为每个客户端套接字有一个线程，然后在工作管道的下游每个客户端套接字组有一个其他线程，管道的每个步骤都通过数据包队列互连。

当然可以实现这两种解决方案的混合，每个客户端一个 IO 线程和流水线工作线程。

两种概述解决方案的优点是线程数量固定：无需按需生成和销毁线程（尽管您也可以设计一个线程池来处理它）。

对于涉及在线程之间移动套接字的解决方案，问题是：

• 什么时候应该传递这些资源？工作线程读取数据包后会发生什么？它应该将套接字返回给 IO 线程，还是冒着阻塞读取套接字以获取下一个数据包的风险？如果它执行select 来轮询套接字以获取更多数据包，我们将陷入场景（2），当所有客户端都有网络流量时，每个客户端将拥有自己的 I/O 线程，在这种情况下，什么是执行 select 的初始 I/O 线程的增益？

• 如果将套接字传回，IO 线程是否应该等待所有工作人员返回其套接字，然后再启动另一个select？如果它等待，它会冒使未服务的客户端等待已经在网络缓冲区中的数据包的风险，从而导致处理延迟。如果它不等待，并返回select 以避免在未服务的套接字上滞后，那么服务的套接字将不得不等待下一次唤醒才能在select 池中看到它们的套接字。

  李>

如您所见，这个问题很难处理。这就是为什么我建议线程独占套接字所有权的原因，如场景 (1) 和 (2) 中所述。

Answer 3

您的解决方案需要固定的、相对较少的连接数。

创建一个帮助过程，该过程创建线程过程，监听五个端口中的每一个并阻塞recvfrom()，处理数据，然后再次阻塞。然后您可以调用帮助程序 15 次来创建线程。

这避免了所有轮询，并允许 Linux 在 I/O 完成时调度每个线程。等待时不使用 CPU，这可以扩展到更大的解决方案。

如果您需要大规模扩展，为什么不使用一组端口，并从client_sockaddr_in 结构中获取合作伙伴地址。如果处理需要大量时间，您可以通过保持可用线程池来扩展它，并在每次收到消息时分配一个新线程，然后继续处理消息，并在响应后将线程添加回池中已发送。