【问题标题】:Executor service is gets stuck, Not throwing error执行器服务被卡住,不抛出错误
【发布时间】:2021-02-22 14:08:49
【问题描述】:

当我递归调用以下方法时,它会卡住而不是抛出错误。没有给出任何回应。线程池大小为 50。在处理 100K 记录时,我遇到了这个问题。 如何解决这个问题? 提前致谢

public void processActivityDeposits(
    Activity activity) {
  int partitionSize =
      environment.getProperty("patition.size", Integer.class, 1000);
  List<Long> records =
      service.findReadyToProcessRecords(
          activity.getActivityId(),
          partitionSize);
  if (records != null && records.size() > 0) {
    try {
      int threadPoolSize =
          environment.getProperty("thread.pool.size", Integer.class, 10);
      ExecutorService executorService = Executors.newFixedThreadPool(threadPoolSize);
      for (Long activityId : records) {
        executorService.execute(
            new ActivityDepositInternalProcessor(
                activityId));
      }
      executorService.shutdown();
      try {
        executorService.awaitTermination(Long.MAX_VALUE, TimeUnit.MILLISECONDS);
      } catch (InterruptedException e) {
        e.printStackTrace();
      }
      processActivityDeposits(
          activity);
    } catch (Exception exception) {
      exception.printStackTrace();
    }
  }
}

【问题讨论】:

  • cpu有几个核心?任意设置任何线程大小限制将导致性能下降。减少线程数并尝试一下..这可能会有所帮助..否则会在线程之间的上下文切换中浪费更多时间。
  • 递归调用该方法每次都会创建一个新的线程池。不确定这是否真的是你想要的。最终,所有这些线程都会使 CPU 不堪重负,性能会下降而不是上升。
  • 为什么每次递归都创建一个新的执行器?这可能是很多开销。
  • 是的,但是执行器创建和销毁的开销以及底层线程在大量递归时并非微不足道。简而言之,执行器可以跨递归重用。如果您只是想在下一次之前“排空”任务队列,请跟踪返回的 Futures 并在下一次递归之前等待它们完成。
  • 首先让你的代码在单线程中工作。如果您使用 JPA,请使用适当的刷新和清除策略来保持性能。还要调整 JDBC 提取大小以减少 JDBC 的网络开销(默认值一般为 10)。与在具有几个内核的单个 CPU 上创建大量线程相比,您可能会获得更多的性能。

标签: java spring multithreading spring-boot rest


【解决方案1】:

我建议对您的代码进行以下更改。 一个。将执行服务的创建和关闭移出 if 块。

b.不要将线程池大小设置为超过 5,因为您只有一个内核,

 public void processActivityDeposits(
    Activity activity) {
  int partitionSize =
      environment.getProperty("patition.size", Integer.class, 1000);
  List<Long> records =
      service.findReadyToProcessRecords(
          activity.getActivityId(),
          partitionSize);
        //moved out of if block
       int threadPoolSize =
          environment.getProperty("thread.pool.size", Integer.class, 10);
      ExecutorService executorService = Executors.newFixedThreadPool(threadPoolSize);     
  if (records != null && records.size() > 0) {
    try {

      for (Long activityId : records) {
        executorService.execute(
            new ActivityDepositInternalProcessor(
                activityId));
      }
     
      processActivityDeposits(
          activity);
    } catch (Exception exception) {
      exception.printStackTrace();
    }
  }
  //moved out of if block
   executorService.shutdown();
      try {
        executorService.awaitTermination(Long.MAX_VALUE, TimeUnit.MILLISECONDS);
      } catch (InterruptedException e) {
        e.printStackTrace();
      }
}

【讨论】:

  • 看起来在这里做递归,也许你的建议不是锻炼。
猜你喜欢
  • 2016-03-07
  • 2015-10-18
  • 2020-12-04
  • 2019-05-26
  • 1970-01-01
  • 1970-01-01
  • 2018-05-15
  • 2011-01-11
  • 1970-01-01
相关资源
最近更新 更多