WorkStealingPool 和 ThreadPoolExecutor 与 CompletableFuture 一起使用时会产生不同的结果

Question

执行以下代码时：

ExecutorService executorService = Executors.newWorkStealingPool(20);

Function<String, CompletableFuture<String>> requestTask =
        url -> CompletableFuture.supplyAsync(() -> {
                    System.out.println("Request " + requestCount++ + " was sent");
                    HttpClient.get(url);
                    return url;
                    }, executorService);

Function<String, String> extractName = s -> s.replaceAll("(https|http|://|\\.com|www\\.|\\.io)", "");

CompletableFuture[] futures = urls.stream() // urls list contains 14 urls
        .map(requestTask)
        .map(future -> future.thenApply(extractName))
        .map(future -> future.thenAccept(System.out::println))
        .toArray(CompletableFuture[]::new);

CompletableFuture.allOf(futures);
executorService.shutdown();

结果如下：

Request 0 was sent
Request 1 was sent
Request 2 was sent
Request 3 was sent
Request 4 was sent
Request 5 was sent
Process finished with exit code 0

但是，当Executors.newWorkStealingPool(20) 替换为Executors.newFixedThreadPool(20) 时，所有请求都会被发送。这种行为的原因是什么？

Answer 1

并非所有请求都已发送，因为（剧透警告！）JVM 只是简单地终止。

如您所知，the conditions for JVM termination 是：

发生以下任一情况：

• Runtime 类的 exit 方法已被调用，安全管理器已允许执行退出操作。
• 不是守护线程的所有线程都已死亡，要么从调用 run 方法返回，要么抛出传播到 run 方法之外的异常。

显然不是第一种，所以肯定是第二种。

首先要注意的是让你的main()方法退出：

• 您调用CompletableFuture.allOf()，但您不对结果执行任何操作，因此它不会阻塞（没有join() 调用）；
• 调用ExecutorService.shutDown() 只会告诉执行器关闭，它不会等待。

最初，主线程是唯一的非守护线程，所以这应该足以让 JVM 退出。但这就是 2 个执行者有所作为的地方：

• newFixedThreadPool() 由ThreadPoolExecutor 实现，它使用Executors.defaultThreadFactory()，创建非守护线程；
• newWorkStealingPool() 由 ForkJoinPool 实现，它在它创建的所有线程上调用 setDaemon(true)¹。

不幸的是，它没有记录在案，但基本上，这归结为Why does the following application terminate immediately when using ForkJoinPool, but not when I use ThreadPoolExecutor?

因此，您的问题有两种可能的解决方案：

• 在allOf() 之后致电join()
• 在shutdown()之后在执行器上调用awaitTermination()

_{¹As noted by teppic in the comments，这在 Java 8 中没有记录，但 it is now since Java 9。}