【问题标题】:handling multiple tasks/jobs on a resource constrained system在资源受限的系统上处理多个任务/作业
【发布时间】:2015-03-14 14:30:15
【问题描述】:

首先,感谢您花时间回答这个问题。

我有一个设计问题(有点)。我有一组机器,用户可以在这些机器上执行任务。在机器上完成每个任务可能需要大约 5-20 分钟。任意数量的用户都可以执行任务 - 但是,他们可能并不关心他们的任务是否已排队并且不能立即执行。

作为一名软件开发人员,我想将我执行的任务数限制为每批 10 个,以防止终端系统崩溃。这就是我认为的方法:

a) Submit all jobs/tasks to a file.
b) Daemon wakes up every x minutes, checks if there is work to be performed.
b) Get 10 jobs that were submitted earliest and spawn processes to handle the tasks.
c) Daemon sleeps, wakes up again after x minutes and checks how many additional tasks can be performed (given that some of the 10 tasks may still be running), launches the corresponding tasks and goes back to sleep.

你们有什么建议或想法吗?

【问题讨论】:

  • 如果计算机意外崩溃或断电,您不会丢失队列中的任务有多重要?
  • 会很重要,因此文件
  • 对如何处理当前“正在运行”的那些有什么想法吗?

标签: python architecture scripting software-design


【解决方案1】:

我强烈建议您调查Message Queues。使用消息队列来存储您的作业将允许您的系统扩展,并将处理诸如事务性、持久性、节流等事情。否则您将不得不编写自己的处理方式,如文件锁、事务回滚等。

这种方法还可以让您横向扩展,允许多台机器订阅单个队列。

那里有很多免费/开源的消息队列服务器,Apache ActiveMQ 是最受欢迎的服务器之一,您应该能够很快启动并运行它。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-06-10
    • 2017-11-18
    • 1970-01-01
    相关资源
    最近更新 更多