Java Stream - 从 CSV 检索重复记录

Question

我搜索了该网站并没有找到类似的内容。我是使用 Java 流的新手，但我知道它是循环命令的替代品。但是，我想知道是否有一种方法可以使用流过滤 CSV 文件，如下所示，其中仅重复记录包含在结果中并按 Center 字段分组。

初始 CSV 文件

最终结果

另外，同一对不能反向出现在最终结果中，如下表所示：

这不应该发生

有没有办法同时使用流和分组，因为理论上需要两个循环来执行任务？

提前致谢。

Answer 1

您可以在 O(n) 效率下以流的形式一次性完成：

class PersonKey {
    // have a field for every column that is used to detect duplicates
    String center, name, mother, birthdate;
    public PersonKey(String line) {
        // implement String constructor
    }
    // implement equals and hashCode using all fields
}

List<String> lines; // the input 
Set<PersonKey> seen = new HashSet<>();
List<String> unique = lines.stream()
  .filter(p -> !seen.add(new PersonKey(p))
  .distinct()
  .collect(toList());

这里的技巧是 HashSet 具有恒定时间操作，如果要添加的值已经在集合中，则其 add() 方法返回 false，否则返回 true。

Answer 2

我从您的示例中了解到，如果除 ID 之外的所有属性都具有相同的值，则您认为该条目是重复的。您可以为此使用anymatch：

list.stream().filter(x ->
                list.stream().anyMatch(y -> isDuplicate(x, y))).collect(Collectors.toList())

那么 isDuplicate(x,y) 有什么作用呢？

这会返回一个boolean。您可以在此方法中检查除 id 之外的所有条目是否具有相同的值：

private boolean isDuplicate(CsvEntry x, CsvEntry y) {
    return !x.getId().equals(y.getId())
            && x.getName().equals(y.getName())
            && x.getMother().equals(y.getMother())
            && x.getBirth().equals(y.getBirth());
}

我假设您已将所有条目都设为String。根据类型更改检查。这将为您提供重复的条目及其对应的ID