【问题标题】:How to use Java ExecutorService threadpool for ongoing/infinite tasks?如何使用 Java ExecutorService 线程池进行持续/无限任务?
【发布时间】:2012-12-09 00:44:43
【问题描述】:

Java ExecutorService 框架允许您使用托管线程池委派多个要执行的任务,以便一次执行 N 个任务,直到完成 X 个任务。

我的问题是......如果 N 是一个无限大或大到无法最初分配/分配/定义的数字,该怎么办。

如何利用 Java (ExecutorService) 中的线程池概念来处理比您可以合理提交的任务更多的任务,而不会耗尽资源。

就本答案而言,假设每个任务都是独立的,不依赖于任何其他任务,并且任务可以按任意顺序完成。

我最初尝试解决这个问题涉及一次提供 ExecutorService Y 个线程,但我很快意识到没有明显的方法可以判断特定任务何时完成,因此无法提交要执行的新任务。

我知道我可以编写自己的“ExecutorService”,但我正在尝试利用 Java 框架已经提供的丰富功能。我通常属于“不要重新发明轮子”类别,因为比我更聪明的人已经为我进行了投资。

提前感谢任何可以提供有关如何解决此类问题的见解的人。

【问题讨论】:

  • 你可能想要使用更复杂的东西,比如 Quartz 调度器。
  • IIRC,Executors.newFixedThreadPool(n)允许你提交任意多任务;一旦n 线程之一完成一项任务,它就会从等待运行的队列中取出另一个任务。
  • @LouisWasserman:问题指出“N 是一个无限大或不切实际的数字”,因此您不能一次提交所有任务。 ThreadPoolExecutor 类确实允许您指定工作队列的大小以及队列已满时它应该具有的行为,但这并不能真正帮助非常大的任务集情况。
  • @LouisWasserman 我同意。我的问题是我需要排队的任务数量如此之大(可能是无限的?)以至于所述队列无法合理地存储在任何正在运行的 JVM 中。
  • 如果有帮助,我将尝试重新表述问题:我有无数的任务要执行。每个任务都是独立的,因此它们都不需要等待/依赖任何其他任务。如何最大化实现(在 Java 中),以便在最少的时间/资源中完成每个任务。即,当我需要在最短的时间内执行无限量的任务时,如何在 N 核机器上实现 100% 的 CPU 资源?

标签: java concurrency


【解决方案1】:

您可以使用CompletionService 来执行此操作。您可以有一个线程为服务提供一堆任务,然后在任务完成后添加新任务。

一个简单的例子:

final CompletionService service = new ExecutorCompletionService(Executors.newFixedThreadPool(5));
Runnable taskGenerator = new Runnable() {
    public void run() {
        // Seed the service
        for (int i = 0; i < 100; ++i) {
            service.submit(createNewTask());
        }
        // As tasks complete create new ones
        while (true) {
            Future<Something> result = service.take();
            processResult(result.get());
            service.submit(createNewTask());
        }
    }
};
new Thread(taskGenerator).start();

这使用带有 5 个线程的 ThreadPoolExecutor 来处理任务,并使用手动生产者/消费者线程来生成任务和处理结果。

显然你会想要比while (true)更聪明的东西,你需要有processResult和createNewTask的合理实现,这假设任务执行比生成它们或处理结果要慢得多.

希望这会让你走上正轨。

【讨论】:

    【解决方案2】:

    使用 java.util.concurrent.ThreadPoolExecutor 和 java.util.concurrent.ArrayBlockingQueue 作为它的工作队列。这种方式尝试放置比队列大小更多的任务会阻塞。

      BlockingQueue<Runnable> workQueue=new ArrayBlockingQueue<Runnable>(100);
      ThreadPoolExecutor tpe=new ThreadPoolExecutor(5, 10, 60, TimeUnit.SECONDS, workQueue);
    
      while (true) {
         tpe.execute(createNewTask());
      }
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2019-03-15
      • 1970-01-01
      • 2017-02-16
      • 2016-06-24
      • 2014-12-26
      • 2019-10-24
      • 2014-08-01
      相关资源
      最近更新 更多