【问题标题】:How to handle 100,000 requests concurrently in C如何在 C 中同时处理 100,000 个请求
【发布时间】:2017-12-04 03:10:04
【问题描述】:

我预计会收到 100,000 个请求,其中至少有 100 个是并发的。每次收到请求时,我都会创建一个新线程,并在使用pthread_exit() 完成后将其销毁。使用pthread_detach 我获得了 99% 的成功率。还有比这更好的方法吗?

pthread_t hilo;
// infinite loop
while ((client_sock = accept(server_sock, (struct sockaddr *) &client_sockaddr, &len))) {
    struct ClientSocket socks;
    // some code...
    pthread_create(&hilo, NULL, func, &socks);
    pthread_detach(hilo);
    printf("\nSocket is listening for the next request...\n");
}

我听说pthread_join 会是在不达到线程限制的情况下利用资源的更好方法,但我这样做的方式不是并发的。

pthread_t hilo;    
// infinite loop
while ((client_sock = accept(server_sock, (struct sockaddr *) &client_sockaddr, &len))) {
    struct ClientSocket socks;
    // some code...
    pthread_create(&hilo, NULL, func, &socks);
    pthread_join(hilo, NULL); // it stops the main thread
    printf("\nSocket is listening for the next request...\n");
}

任何想法都将不胜感激!

【问题讨论】:

  • 这里有一篇好文章值得一看:kegel.com/c10k.html
  • 创建和销毁线程是一项非常繁重的操作。您是否考虑过使用线程池?
  • '我听说 pthread_join 会是更好的方法......' 不,pthread_join 几乎从来都不是做任何事情的更好方法:(
  • '我正在创建一个新线程并在它完成后将其销毁' - 这也很少是做任何事情的好方法。正如@DaveS 所建议的那样,将套接字等排队到一个由 150 个线程组成的池中
  • 'example code' 有很多生产者-消费者队列的例子,使用 condvars 或信号量。您真正需要排队的只是从 accept() 调用返回的服务器客户端套接字。

标签: c multithreading pthreads


【解决方案1】:

每次收到请求时,我都会创建一个新线程并在完成后销毁它

不要:这不是明智的做法,因为线程创建是一项重量级的操作。

我听说 pthread_join 会是在不达到线程限制的情况下利用资源的更好方法,但我这样做的方式不是并发的。

正确。每当你看到有人在做pthread_create 紧跟在pthread_join 之后,你就可以看出他们不知道自己在做什么。只需直接调用func 即可获得完全相同的结果(效率更高)。

任何想法都将不胜感激!

您需要一个生产者-消费者队列。侦听线程将accept 连接并将它们排入队列以供(大小有限)线程池中的其他线程使用。其他线程将使一项工作出列,并在该项目上执行func。然后返回下一项,依此类推。

这是一个example 生产者/消费者实现。但是您可以通过“生产者消费者队列”搜索找到许多其他人。

【讨论】:

    猜你喜欢
    • 2021-12-21
    • 1970-01-01
    • 1970-01-01
    • 2011-09-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-01-19
    相关资源
    最近更新 更多