我有一些图像标签列表。我想找出哪些标签似乎是相关的：
l1 = ["cat", "toe", "man"]
l2 = ["cat", "toe", "ice"]
l3 = ["cat", "hat", "bed"]
显然，在这个（简单）示例中，“cat”和“toe”似乎相关，因为它们出现了两次 (l1, l2)。
如何计算？结果如下：cat & toe: 2。我知道我要求“成对相关”，但这种分析的资源对我来说太复杂了。
【问题讨论】：
标签： python list combinations counter data-analysis
您可以将collections.defaultdict 与frozenset 和itertools.combinations 一起使用来形成成对计数的字典。
变化是可能的。例如，您可以使用 collections.Counter 和 sorted tuple，但基本相同。
from collections import defaultdict
from itertools import combinations
dd = defaultdict(int)
L1 = ["cat", "toe", "man"]
L2 = ["cat", "toe", "ice"]
L3 = ["cat", "hat", "bed"]
for L in [L1, L2, L3]:
for pair in map(frozenset, (combinations(L, 2))):
dd[pair] += 1
结果：
defaultdict(int,
{frozenset({'cat', 'toe'}): 2,
frozenset({'cat', 'man'}): 1,
frozenset({'man', 'toe'}): 1,
frozenset({'cat', 'ice'}): 1,
frozenset({'ice', 'toe'}): 1,
frozenset({'cat', 'hat'}): 1,
frozenset({'bed', 'cat'}): 1,
frozenset({'bed', 'hat'}): 1})
【讨论】：
l = [list(combinations(i, 2)) for i in l4] 到哪里去，l4 是 3 个列表的列表
tuple 而不是 frozenset [如果它已排序]。
另一种选择是创建一个 DataFrame，其中每个唯一单词的指示变量作为列：
from itertools import chain
all_tags = set(chain.from_iterable([l1, l2, l3]))
d = pd.DataFrame([{k: 1 if k in l else 0 for k in all_tags} for l in [l1, l2, l3]])
print(d)
# bed cat hat ice man toe
#0 0 1 0 0 1 1
#1 0 1 0 1 0 1
#2 1 1 1 0 0 0
现在你可以转置这个矩阵并用它自己点来获得成对计数：
pairwise_counts = d.T.dot(d)
print(pairwise_counts)
# bed cat hat ice man toe
#bed 1 1 1 0 0 0
#cat 1 3 1 1 1 2
#hat 1 1 1 0 0 0
#ice 0 1 0 1 0 1
#man 0 1 0 0 1 1
#toe 0 2 0 1 1 2
此矩阵的对角线是每个单词在数据中出现的次数。
如果您想要任意两个字符串的成对计数，例如"cat" 和“toe”，您可以这样做：
print(pairwise_counts.loc["cat", "toe"])
#2
由于这个矩阵是对称的，你会得到相同的答案：
print(pairwise_counts.loc["toe", "cat"])
#2
【讨论】：