使用 Java 流的 MinMaxPriorityQueue

Question

我正在寻找一种在 Java 中节省内存的方法来从庞大的集合中查找前 n 个元素。例如，我有一个单词、一个 distance() 方法和一个“所有”单词的集合。 我已经实现了一个实现 compareTo() 的类 Pair，以便对按它们的值排序。

使用流，我的幼稚解决方案如下所示：

double distance(String word1, String word2){
  ...
}

Collection<String> words = ...;
String word = "...";

words.stream()
  .map(w -> new Pair<String, Double>(w, distance(word, w)))
  .sorted()
  .limit(n);

据我了解，这将处理并以单词形式存储每个元素，以便在应用 limit() 之前对其进行排序。但是，拥有一个存储 n 个元素的集合更节省内存，并且每当添加一个新元素时，它都会删除最小的元素（根据可比较对象的自然顺序），因此永远不会增长大于 n（或 n+1 )。

这正是 Guava MinMaxPriorityQueue 所做的。因此，我目前对上述问题的最佳解决方案是：

Queue<Pair<String, Double>> neighbours = MinMaxPriorityQueue.maximumSize(n).create();
words.stream()
  .forEach(w -> neighbours.add(new Pair<String, Double>(w, distance(word, w)));

将队列转换为流或列表后，前n个元素的排序仍有待完成，但这不是问题，因为n相对较小。

我的问题是：有没有办法使用流来做同样的事情？

Answer 1

基于堆的结构当然比对整个巨大列表进行排序更有效。幸运的是，流库非常乐意让您在必要时使用专门的集合：

MinMaxPriorityQueue<Pair<String, Double>> topN = words.stream()
    .map(w -> new Pair<String, Double>(w, distance(word, w)))
    .collect(toCollection(
            () -> MinMaxPriorityQueue.maximumSize(n).create()
    ));

这比 .forEach 解决方案更好，因为它易于并行化并且更符合 java8 的习惯。

请注意，() -> MinMaxPriorityQueue.maximumSize(n).create() 应该可以替换为 MinMaxPriorityQueue.maximumSize(n)::create，但由于某种原因，它在某些条件下无法编译（参见下面的 cmets）。