【问题标题】:what is the maximum number of workers and concurrency can be configured in celery在 celery 中可以配置的最大工作线程数和并发数是多少
【发布时间】:2015-09-21 03:26:21
【问题描述】:

如果我在 celery 中调度 IO 绑定任务,并且如果我的服务器规格类似于 具有 8GB RAM 的四核,我可以有多少 worker 和并发使用。

如果 CPU 密集型进程建议为四核处理器使用 4 个工作器和 8 个并发。 IO 绑定进程的规范是什么。

在我的任务中,我将执行 API 调用,处理接收到的数据并将处理后的数据存储在服务器中。

【问题讨论】:

    标签: python celery celery-task


    【解决方案1】:

    这就像问“一根绳子有多长”,我敢肯定没有一个简单的答案。当然,它会超过 8 个线程,在所需的最大并发 I/O 任务上有一个有用的上限,这可能取决于 I/O 任务正在与之通信的服务的远程用户数量。大概在一些“操作数据”的任务将开始加载您的处理器,您将不再受 i/o 限制。

    【讨论】:

    • @barny...是的,这就是我在阅读文档时遇到的问题。从字面上看,就像您所说的“一根绳子有多长”。我很确定我的数据操作不会成为瓶颈。
    • 感谢您的回复,但您能否提出一些可靠的计数建议,或者是否有适当的数学计算来获得此工人计数
    • 观察处理器负载,使设计灵活,以便您可以增加或减少上限,并为自己构建一个可以运行不同负载的测试的测试环境,以便您知道何时上线你的实现......祝你好运!
    猜你喜欢
    • 1970-01-01
    • 2018-09-09
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多