Python有序列表搜索与对象列表搜索集

Question

我有两个对象列表。我们将列表称为 a 和 b。对象（出于我们的意图和目的）定义如下：

class MyObj:
    def __init__(self, string: str, integer: int):
        self.string = string
        self.integer = integer

    def __eq__(self, other):
        if self.integer == other.integer:
            pass
        else:
            return False

        if fuzz.ratio(self.string, other.string) > 90: # fuzzywuzzy library checks if strings are "similar enough"
            return True
        else:
            return False

现在我想要实现的是检查列表 a 中的哪些对象“在”列表 b 中（与列表 b 中的某些对象相比，返回 true 反对 ==）。

目前我只是按如下方式遍历它们：

for obj in a:
    for other_obj in b:
        if a == b:
            <do something>
            break

我强烈怀疑有更快的方法来实现这一点。名单很长。每个最多 100 000 个对象。所以这是我代码中的一大瓶颈。

我查看了这个答案Fastest way to search a list in python，它表明套装效果更好。不过，我对此有点困惑：

• “删除重复项”加速有多大意义？我不希望我的列表中有很多重复项。

• 当我按照我的方式定义 eq 时，集合可以删除重复项并正确散列吗？

• 这与预先排序列表和使用二分搜索之类的方法相比如何？一个集合是无序的...

那么这里最好的方法是什么？请在答案中提供实施指南。

Answer 1

TL;DR，当使用模糊比较技术时，如果没有一些规范化方法，集合和排序可能很难使用。您可以聪明地尝试尽可能减少搜索空间，但应注意始终如一地这样做。

如果一个类定义了__eq__ 而不是__hash__，则它是不可散列的。

例如，考虑下面的类

class Name:
    def __init__(self, first, last):
        self.first = first
        self.last = last

    def __repr__(self):
        return f'{self.first} {self.last}'

    def __eq__(self, other):
        return (self.first == other.first) and (self.last == other.last)

现在，如果您要尝试使用这些元素创建一个集合

>>> {Name('Neil', 'Stackoverflow-user')}
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: unhashable type: 'Name'

因此，对于Name，您只需定义一个__hash__ 方法。但是，在您的情况下，这更加困难，因为您具有模糊的相等语义。我能想到解决这个问题的唯一方法是拥有一个可以证明是一致的规范化函数，并使用规范化字符串而不是实际字符串作为哈希的一部分。以Floats as dictionary keys 为例，需要规范化才能使用浮点数等“模糊”类型作为键。

对于排序和二进制搜索，由于您是模糊搜索，因此您仍然需要小心二进制搜索之类的事情。例如，假设您说平等是由在一定范围内的 Levenshtein 距离内确定的。那么book 和hook 将彼此相似（距离= 1），但距离为2 的hack 将更接近hook。那么在这种情况下，你将如何为模糊搜索定义一个好的排序算法呢？

尝试使用某种形式的分组/分桶，例如Dict[int, List[MyObj]] 类型的字典，其中MyObj 的实例由它们的一个常量self.integer 字段分类。然后您可以尝试比较较小的子列表。这至少会通过聚类减少搜索空间。