来自 HashSet 的并行流不并行运行

Question

我有一些想要并行处理的元素。当我使用List 时，并行性有效。但是，当我使用Set 时，它不会并行运行。

我写了一个代码示例来说明问题：

public static void main(String[] args) {
    ParallelTest test = new ParallelTest();

    List<Integer> list = Arrays.asList(1,2);
    Set<Integer> set = new HashSet<>(list);

    ForkJoinPool forkJoinPool = new ForkJoinPool(4);

    System.out.println("set print");
    try {
        forkJoinPool.submit(() ->
            set.parallelStream().forEach(test::print)
        ).get();
    } catch (Exception e) {
        return;
    }

    System.out.println("\n\nlist print");
    try {
        forkJoinPool.submit(() ->
            list.parallelStream().forEach(test::print)
        ).get();
    } catch (Exception e) {
        return;
    }   
}

private void print(int i){
    System.out.println("start: " + i);
    try {
        TimeUnit.SECONDS.sleep(1);
    } catch (InterruptedException e) {
    }
    System.out.println("end: " + i);
}

这是我在 Windows 7 上得到的输出

set print
start: 1
end: 1
start: 2
end: 2

list print
start: 2
start: 1
end: 1
end: 2

我们可以看到Set 中的第一个元素必须在处理第二个元素之前完成。对于List，第二个元素在第一个元素结束之前开始。

你能告诉我是什么导致了这个问题，以及如何使用Set 集合来避免它吗？

Answer 1

我可以重现您看到的行为，其中并行度与您指定的 fork-join 池并行度的并行度不匹配。在将 fork-join 池并行度设置为 10 并将集合中的元素数量增加到 50 后，我看到基于列表的流的并行度仅上升到 6，而基于集合的流的并行度从未超过2.

但是请注意，这种将任务提交到 fork-join 池以在该池中运行并行流的技术是一种实现“技巧”，并且不能保证正常工作。实际上，用于执行并行流的线程或线程池是未指定的。默认情况下，使用公共的 fork-join 池，但在不同的环境中，最终可能会使用不同的线程池。 （考虑一个应用服务器中的容器。）

在java.util.stream.AbstractTask 类中，LEAF_TARGET 字段决定了完成的拆分量，进而决定了可以实现的并行量。该字段的值基于ForkJoinPool.getCommonPoolParallelism()，它当然使用公共池的并行性，而不是碰巧运行任务的任何池。

可以说这是一个错误（请参阅 OpenJDK 问题 JDK-8190974），但是，无论如何，这整个区域都未指定。但是，系统的这个领域肯定需要开发，例如在拆分策略、可用并行量、处理阻塞任务等方面。 JDK 的未来版本可能会解决其中一些问题。

同时，可以通过使用系统属性来控制公共 fork-join 池的并行性。如果将此行添加到程序中，

System.setProperty("java.util.concurrent.ForkJoinPool.common.parallelism", "10");

并且您在公共池中运行流（或者如果您将它们提交到具有足够高并行度集的自己的池），您将观察到更多任务并行运行。

您也可以使用-D 选项在命令行上设置此属性。

同样，这不是保证行为，将来可能会发生变化。但在可预见的未来，这种技术可能会适用于 JDK 8 的实现。

2019-06-12 更新：错误 JDK-8190974 已在 JDK 10 中修复，并且该修复已向后移植到即将发布的 JDK 8u 版本 (8u222)。