ArrayList 的更快访问版本？

Question

有谁知道类似于 ArrayList 的东西，它更适合尽快处理大量数据？

我有一个带有非常大的 ArrayList 的程序，当它试图探索或修改 ArrayList 时，它会变得阻塞。

大概当你这样做时：

//i is an int;
arrayList.remove(i);

幕后的代码运行如下：

public T remove(int i){
    //Let's say ArrayList stores it's data in a T [] array called "contents".
    T output = contents[i];
    T [] overwrite = new T [contents.length - 1];
    //Yes, I know generic arrays aren't created this simply. Bear with me here...
    for(int x=0;x<i;x++){
        overwrite[x] = contents[x];
    }
    for(int x=i+1;x<contents.length;x++){
        overwrite[x-1] = contents[x];
    }
    contents = overwrite;
    return output;
}

当 ArrayList 的大小为几百万个单位左右时，所有这些重新排列数组中项目位置的循环将花费大量时间。

我试图通过创建我自己的自定义 ArrayList 子类来缓解这个问题，该子类将它的数据存储分割成更小的 ArrayList。任何需要 ArrayList 扫描特定项目的数据的进程都会为其中的每个较小的 ArrayList 生成一个新的搜索线程（以利用我的多个 CPU 内核）。

但是这个系统不起作用，因为当调用搜索的线程在任何 ArrayList 中同步了一个项目时，它可以阻止那些单独的搜索线程完成它们的搜索，这反过来又锁定了调用在搜索过程中，本质上使整个程序死锁。

我真的需要某种数据存储类，以在 PC 的能力范围内尽可能快地包含和操作大量对象。

有什么想法吗？

Answer 1

链表的一个很好的使用例子是列表元素非常大，即。足够大，以至于只有一两个可以同时放入 CPU 缓存中。在这一点上，用于迭代的向量或数组等连续块容器的优势或多或少被抵消了，如果实时发生许多插入和删除，则可能会获得性能优势。

参考：Under what circumstances are linked lists useful?

参考：https://coderanch.com/t/508171/java/Collection-datastructure-large-data

Answer 2

不同的集合类型对于不同的操作有不同的时间复杂度。典型的复杂性是：O(1)、O(N) 和 O(log(N))。要选择一个集合，您首先需要确定您经常使用的操作，并避免该操作具有 O(N) 复杂度的集合。在这里，您经常使用操作ArrayList.remove(i)，即 O(N)。更糟糕的是，您使用remove(i) 而不是remove(element)。如果remove(element) 是唯一经常使用的操作，那么LinkedList 会有所帮助，它的remove(element) 是O(1)，但LinkedList.remove(i) 也是O(N)。

我怀疑 List 与 remove(i) O(1) 的复杂性是否可以实现。最好的时间是 O(log(N))，这绝对比 O(N) 好。 Java 标准库没有这样的实现。您可以尝试通过“二进制索引树”关键字搜索它。

但我要做的第一件事是检查算法并尝试摆脱 List.remove(i) 操作。

Answer 3

我真的需要某种数据存储类，以在 PC 的能力范围内尽可能快地包含和操作大量对象。

答案很大程度上取决于您所谈论的数据类型以及您需要的具体操作。您使用工作“探索”而不定义它。

如果您正在谈论查找记录，那么对于线程操作，没有什么比 HashMap – ConcurrentHashMap 更好的了。如果您正在谈论保持秩序，尤其是在处理线程时，那么我建议您使用具有 O(logN) 查找、插入、删除等功能的 ConcurrentSkipListMap。

您可能还想考虑使用多个集合。您需要注意不要让集合不同步，这对于线程来说尤其具有挑战性，但根据您正在执行的各种操作，这可能会更快。

当 ArrayList 的大小为几百万个单位左右时，所有这些重新排列数组中项目位置的循环将花费大量时间。

如前所述，ConcurrentSkipListMap 是 O(logN) 用于重新排列项目。即删除并添加新位置。

幕后的 [ArrayList.remove(i)] 代码运行如下：...

其实不是。你可以看看code in the JDK吧？ ArrayList 使用 System.arraycopy(...) 进行此类操作。它们可能对您的情况无效，但不是O(N)。