【发布时间】:2021-02-22 14:08:49
【问题描述】:
当我递归调用以下方法时,它会卡住而不是抛出错误。没有给出任何回应。线程池大小为 50。在处理 100K 记录时,我遇到了这个问题。 如何解决这个问题? 提前致谢
public void processActivityDeposits(
Activity activity) {
int partitionSize =
environment.getProperty("patition.size", Integer.class, 1000);
List<Long> records =
service.findReadyToProcessRecords(
activity.getActivityId(),
partitionSize);
if (records != null && records.size() > 0) {
try {
int threadPoolSize =
environment.getProperty("thread.pool.size", Integer.class, 10);
ExecutorService executorService = Executors.newFixedThreadPool(threadPoolSize);
for (Long activityId : records) {
executorService.execute(
new ActivityDepositInternalProcessor(
activityId));
}
executorService.shutdown();
try {
executorService.awaitTermination(Long.MAX_VALUE, TimeUnit.MILLISECONDS);
} catch (InterruptedException e) {
e.printStackTrace();
}
processActivityDeposits(
activity);
} catch (Exception exception) {
exception.printStackTrace();
}
}
}
【问题讨论】:
-
cpu有几个核心?任意设置任何线程大小限制将导致性能下降。减少线程数并尝试一下..这可能会有所帮助..否则会在线程之间的上下文切换中浪费更多时间。
-
递归调用该方法每次都会创建一个新的线程池。不确定这是否真的是你想要的。最终,所有这些线程都会使 CPU 不堪重负,性能会下降而不是上升。
-
为什么每次递归都创建一个新的执行器?这可能是很多开销。
-
是的,但是执行器创建和销毁的开销以及底层线程在大量递归时并非微不足道。简而言之,执行器可以跨递归重用。如果您只是想在下一次之前“排空”任务队列,请跟踪返回的
Futures 并在下一次递归之前等待它们完成。 -
首先让你的代码在单线程中工作。如果您使用 JPA,请使用适当的刷新和清除策略来保持性能。还要调整 JDBC 提取大小以减少 JDBC 的网络开销(默认值一般为 10)。与在具有几个内核的单个 CPU 上创建大量线程相比,您可能会获得更多的性能。
标签: java spring multithreading spring-boot rest