SimpleAsyncTaskExecutor 的最大线程大小是多少？ - 春季批次

Question

我需要运行一项大型迁移工作并转换大量数据。 出于这个原因，我实现了 SimpleAsyncTaskExecutor...

ConcurrencyLimit 有什么最佳实践吗？

public final String THREAD_MAX = 10;

@Bean
public TaskExecutor taskExecutor() {
       SimpleAsyncTaskExecutor asyncTaskExecutor = new SimpleAsyncTaskExecutor("spring_batch");
       asyncTaskExecutor.setConcurrencyLimit(THREAD_MAX);

       return asyncTaskExecutor;
}

Answer 1

这在很大程度上取决于您生成的负载类型。它主要是 CPU 限制还是 IO 限制？

如果它受 CPU 限制，那么如果您的线程数多于 CPU 内核数，您将不会获得任何收益。实际上，你会因为不必要的上下文切换和无用的调度开销而失败。

如果是 IO 限制，您需要试验一下，考虑到您的硬件设置和确切的负载类型，并行性的最佳点是产生最高吞吐量。我会从低个位数的线程数开始，然后继续加倍以快速了解吞吐量如何随线程数变化。如果您的最佳结果是使用相当少的线程数，请不要感到惊讶。