给定 2 个多元数据集，识别代表相同实体的记录，它们略有不同

Question

我们以有 2 个数据源为例，数据大小分别为“m”和“n”。两个数据集都是具有相同架构但数据不同的 SQL 表。我们的目标是“标记”足够相似的模糊匹配（数据集之间）以考虑“相同”。

CREATE TABLE player(
    id Integer,
    fname VARCHAR(64),
    lname VARCHAR(64),
    birth_dt datetime,
    weight Integer
)

虽然大多数总组合 (m*n) 不会匹配，但我们希望标记“相似”匹配，如下所示：

{"fname": "John", "lname": "Smith", "birth_dt": "6/6/91", "weight": 220}
{"fname": "Jack", "lname": "Smith", "birth_dt": "6/6/91", "weight": 210}

是否有任何工具（开源或非开源）可以很好地识别和标记这些“匹配项”？

Answer 1

这是“record linkage”的问题，该关键字将帮助您找到有关该问题的大量文献。

开源 Python 库 dedupe 提供了一种综合方法。