从顺序集合中获取随机元素

Question

我与一个 API 交谈，该 API 为我提供了一个集合上的 java.util.Iterator。这意味着我可以迭代它，但我不能直接/随机访问元素。

现在我的问题是：我想从这个集合中获取一个随机元素。我怎么做？我想我可以建立一个允许直接访问的新集合，但这不是有点消耗内存吗？我还可以迭代整个集合，并为每个元素“掷骰子”，看看我是否应该采用该元素并退出迭代或继续。但是我需要集合的大小，而我无法从迭代器中得到它。

提前致谢。

Answer 1

有一种方法可以在不使用大量额外内存的情况下一次性遍历集合（只需集合中一个元素的大小加上浮点数）。在伪代码中：

• 遍历集合。
• 为每个项目生成一个随机浮点数。
• 如果浮点数是您目前看到的最低（或最高，没关系），请将集合中的当前项存储在一个临时变量中。 （同时存储新的最低随机值。）
• 当您到达集合的末尾时，临时变量中有一个随机项。

显然，这样做的缺点是每次调用它时都要遍历整个集合，但是对于所面临的约束，您没有太多选择。

更新：这类问题的名称终于回到了我的身边。这称为Reservoir sampling。

Answer 2

在迭代时，您知道您已经迭代了多少个对象，因此您知道当前元素是随机选择的元素的概率。所以你只需要保持一个计数和当前随机选择的项目。

public static <T> T selectRandom(final Iterator<T> iter, final Random random) {
    if (!iter.hasNext()) {
        throw new IllegalArgumentException();
    }
    if (random == null) {
        throw new NullPointerException();
    }
    T selected = iter.next();
    int count = 1;
    while (iter.hasNext()) {
        final T current = iter.next();
        ++count;
        if (random.nextInt(count) == 0) {
            selected = current;
        }
    }
    return selected;
}

（堆栈溢出免责声明：未编译，当然也未测试。）

另请参阅 Java Puzzlers 中有关 Collections.shuffle 的部分。

Answer 3

唯一安全的解决方案（如果不知道/保证没有更多信息）是您描述的方式： 从Iterator 创建一个List 并选择一个随机元素。

如果底层集合的大小始终相同，您可以平均减少一半的工作量 - 只需在随机迭代次数后使用 Iterator.next() 之后获得的元素。

顺便说一句：你真的在使用实现java.util.Iterator的集合吗？

Answer 4

这取决于要求，如果集合的大小不是很大，那么就这样做，否则你应该迭代并使用你提到的骰子方法

List<Object> list = Arrays.asList(yourCollection.toArray(new Object[0]));
result = list.get(new Random().nextInt(list.size()));

Answer 5

用于生成加权测试数据。效率不高，但很容易

class ProbabilitySet<E> {

    Set<Option<E>> options =  new HashSet<Option<E>>(); 

    class Option<E> {
        E object;
        double min;
        double max;

        private Option(E object, double prob) {
            this.object = object;
            min = totalProb;
            max = totalProb + prob;
        }

        @Override
        public String toString() {
            return "Option [object=" + object + ", min=" + min + ", max=" + max + "]";
        }
    }

    double totalProb = 0;
    Random rnd = new Random();

    public void add(E object, double probability){
        Option<E> tuple = new Option<E>(object, probability);
        options.add(tuple);
        totalProb += probability;
    }

    public E getRandomElement(){

        double no = rnd.nextDouble() * totalProb;
        for (Option<E> tuple : options) {
            if (no >= tuple.min && no < tuple.max){
                return tuple.object;
            }
        }


        return null;  // if this happens sumfink is wrong.

    }

    @Override
    public String toString() {
        return "ProbabilitySet [options=" + options + ", totalProb=" + totalProb + "]";
    }

}

注意：概率参数将相对于总数而不是 1.0

用法：

public static void main(String[] args) {
    ProbabilitySet<String> stati = new ProbabilitySet<String>();
    stati.add("TIMEOUT", 0.2);
    stati.add("FAILED", 0.2);
    stati.add("SUCCESSFUL", 1.0);

    for (int i = 0; i < 100; i++) {
        System.out.println(stati.getRandomElement());
    }

}

Answer 6

如果您确实没有任何随机访问权限，并且您有一个非常大的列表，因此您无法复制它，那么您可以执行以下操作：

int n = 2
iterator i = ...
Random rand = new Random();
Object candidate = i.next();
while (i.hasNext()) {
    if (rand.nextInt(n)) {
        candidate = i.next();
    } else {
        i.next();
    }
    n++;
}
return candidate;

这将保留列表中的随机元素，但需要您遍历整个列表。如果您想要一个真正均匀分布的值，您别无选择，只能这样做。

或者，如果项目的数量很少，或者如果你想要一个未知大小的列表的随机排列（换句话说，你想要以随机顺序访问列表的所有元素），那么我建议复制所有对新列表的引用（这不会占用大量内存，除非您有数百万个项目，因为您只存储引用）。然后使用带有随机整数的 get 或使用标准的 java.util.Collections shuffle 方法来置换列表。