【问题标题】:is PYTHON Gearman Worker accept multi-tasks是 PYTHON Gearman Worker 接受多任务吗
【发布时间】:2012-04-13 02:45:15
【问题描述】:

例如: 我有一个名为“URLDownload”的任务,该任务的功能是从互联网上下载一个大文件。 现在我有一个工作进程正在运行,但有大约 1000 个文件要下载。 客户端进程很容易创建 1000 个任务,并将它们发送到 Gearman 服务器。

我的问题是 Worker Process 会一一完成任务,还是一次接受多个任务,

如果工作进程可以接受多任务,那么如何限制工作进程中的任务池大小。

【问题讨论】:

  • 看看我的问题(非常相似)——基本上,看起来没有内置的方法可以做到这一点,但如果需要,您可以使用 beanstalkd 来实现。 stackoverflow.com/questions/9550574/…

标签: gearman python-gearman


【解决方案1】:

Worker 一次处理一个请求。您有几个选择:

1) 你可以运行多个worker(这是最常用的方法)。工人在不处理时会坐在 poll() 中,因此该模型运行良好。

2) 围绕工作者编写一个 fork() 实现。这样您就可以启动一定数量的工作进程,但不必监控多个进程。

【讨论】:

    猜你喜欢
    • 2019-03-25
    • 1970-01-01
    • 1970-01-01
    • 2013-02-04
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多