我应该使用哪个集合来检查值是否在 100K 元素的集合中？

Question

我是 Java 新手，不知道 java 集合实现之间的区别。

我必须处理多达 100K 的导入数据记录。该列表中可能有重复项。我必须把所有这些都放到数据库中。在导入之前我清理了数据库表，所以一开始在 DB 中没有重复。

使用休眠模式批量插入数据。 我想做这样的事情：

SomeCollectionClass<Integer> alreadyInsertedRecords;
//...
if (!alreadyInsertedRecords.contains(currentRecord.hashCode()) {
    save_to_database(currentRecord);
    alreadyInsertedRecords.put(currentRecord.hashCode());
} else {
    logger.log("Record no 1234 is a duplicate, skipping");
}

我应该使用哪个集合类来检查记录是否已插入到数据库中？

正如我所说，可能有超过 100 000 条记录，因此集合应该快速搜索、快速插入并且内存占用少。

Answer 1

您可以尝试使用HashSet。请记住，包含对象的类必须正确实现方法 hashCode() 和 equals()。

Answer 2

如果条目是可排序的，您可以使用 TreeSet 集合，只要它们具有有效的 compareTo() 和 equals() 方法，它将自动修剪所有重复的条目。

这个合集还有provides guaranteed log(n) time cost for the basic operations (add, remove and contains).[reference]

如果您有权访问hashCode() 功能，则可以使用HashSet。它的工作方式与 TreeSet 类似（插入时修剪欺骗），而且速度更快。

Colsult Hashset vs Treeset 询问有关这两个系列的详细信息。

如果可能，请使用HashSet。

Answer 3

如果你不想重复，你可以使用

Set<Integer> alreadyInsertedRecords = new HashSet<Integer>()

Answer 4

我不会为此使用集合，因为它可以在数据库级别完成。您可以使用 insert where not exists 语句。

例如

insert into people (firstName, lastName) 
select 'Foo', 'Bar'
where not exists (
    select 1 from people where firstName = 'Foo' and lastName = 'Bar'
)