我有一个来自人口普查的 12K 亚洲姓氏列表和一个包含 200K 名字的列表。我想根据他们的姓氏是否出现在我的 12K 名单上，将这 200K 人分类为亚洲人或非亚洲人。
有没有一种快速的方法来验证列表中的元素之一是否包含 12K 列表中的姓氏之一？
【问题讨论】：
set，然后创建test for membership
Scotts这样的美籍华人怎么办？
标签： python nlp classification nltk
取决于您所说的“快速”。
James 建议使用 Python 的内置 set 来测试成员资格。 Python 的set 实现使用哈希表。 平均时间复杂度为 O(1)，但最坏的情况可能为 O(n)，其中 n 是亚洲姓氏集的基数。因此，在最坏的情况场景中，您可能会以 O(mn) 而不是 O(m) 结束，其中 m 是要分类的名称集的基数。
参考见：https://wiki.python.org/moin/TimeComplexity
如果你想保证最坏的情况，你可以通过对集合n进行排序并进行二分搜索来实现。这最终会得到 O(m lg n) 的时间复杂度。
二分查找：https://docs.python.org/3.1/library/bisect.html
这实际上取决于散列函数对您的数据的效果。
【讨论】：
执行此操作的最佳方法是将 12K 列表转换为集合数据结构。然后您可以遍历人口普查数据并检查每个数据是否都在集合中。
# O(n) where n is the length of the surname_list
surname_set = set(surname_list)
for name in census:
# This is now O(1) operation
if name in surname_set:
do whatever...
这几乎肯定是用 Python 或任何语言完成所需任务的最快方法，并且在 200K 大小的列表中应该相当快。
Wai Leong Yeow 建议使用二分搜索，这比直接检查列表要快，但这仍然是对 200K 不同名称的 O(log n) 操作，其中 N 是 12,000，这意味着它可能会超过仅迭代部分慢 10 倍（这是一种简化 - 实际上有一些常量因素被大 O 表示法掩盖，但常量时间解决方案肯定更快）。排序需要 O(n log n) 时间，而将其转换为一个集合需要 O(n) 时间，这意味着该方法的预处理速度也更快。
【讨论】：
我建议在训练任何机器学习模型之前的第一步中使用local sensitive hashing。这可能会有所帮助，因为您没有很多功能。如果你想要更强大的东西，你可以使用朴素贝叶斯和一些特征工程。
【讨论】：
这取决于您的实际问题。您是否希望机器学习（如您标记：分类）来预测亚洲/非亚洲名称？
如果是：尝试一些半监督方法。为此，首先从 200k 数据中随机选择（接近 10%），然后在 12k 中搜索它，如果存在，将其标记为 1，否则将其标记为 0。然后使用一些分类算法，如随机森林、SVM或 KNN。你也可以为你的名字建模，比如 Bag Of word（在你的问题 Bag Of Letter 中！或类似的东西）：https://en.wikipedia.org/wiki/Bag-of-words_model
对于分类任务，看看 scikit-learn lib:http://scikit-learn.org/
如果否（您不想使用机器学习解决方案）： 存在一些快速字符串搜索算法，可以使用一些技术在其他字符串的语料库中搜索字符串。有很多算法，比如Boyer Moore：https://en.wikipedia.org/wiki/Boyer%E2%80%93Moore_string_search_algorithm
【讨论】：
set()。