itertools 产品不应包含具有重复值的组合

Question

我正在尝试创建组合。示例代码如下：

a = [1, 2, 3], [1, 4, 5]
combinations = list(itertools.product(*a))

输出：

[(1, 1), (1, 4), (1, 5), (2, 1), (2, 4), (2, 5), (3, 1), (3, 4), (3, 5)]

我不需要组合(1,1)。 我已经尝试过以下代码：

for comb in combinations:
    if comb[0] == comb[1]:
        combinations.remove(comb)

但是因为我必须对大量数据执行此操作。时间太长了。

此外，组合的元素应该等于列表中的项目数。 例如：a = [1,2,3], [2,3,7],[4,5,1] 每个组合中的元素为 3，例如 (1,2,4)

请提出一种避免此类组合的方法。

Answer 1

对于两个可迭代对象，一个简单的列表推导可以做到：

>>> from itertools import product
>>> a = [1, 2, 3], [1, 4, 5]
>>> [(x, y) for x, y in product(*a) if x != y]
[(1, 4), (1, 5), (2, 1), (2, 4), (2, 5), (3, 1), (3, 4), (3, 5)]

如果您需要过滤 任意 个可迭代对象的乘积，那么最好使用集合来检查组合的所有元素是否不同：

>>> a = [1, 2, 3], [1, 4, 5], [1, 8, 9]
>>> [p for p in product(*a) if len(set(p)) == len(p)]
[(1, 4, 8), (1, 4, 9), (1, 5, 8), (1, 5, 9), (2, 1, 8), (2, 1, 9), (2, 4, 1), (2, 4, 8), (2, 4, 9), (2, 5, 1), (2, 5, 8), (2, 5, 9), (3, 1, 8), (3, 1, 9), (3, 4, 1), (3, 4, 8), (3, 4, 9), (3, 5, 1), (3, 5, 8), (3, 5, 9)]

顺便说一句，永远不要更改您正在循环的列表，因为这很可能会产生错误的循环。

Answer 2

如果您的列表列表可以有两个以上的子列表，您可以将元组的大小与将元组转换为set 后的大小进行比较，从而过滤重复元素。

>>> import itertools
>>> b = [1,2,3],[1,4,5],[1,2,6]
>>> [x for x in itertools.product(*b) if len(x) == len(set(x))]
[(1, 4, 2), (1, 4, 6), (1, 5, 2), (1, 5, 6), 
 (2, 1, 6), (2, 4, 1), (2, 4, 6), (2, 5, 1), (2, 5, 6), 
 (3, 1, 2), (3, 1, 6), (3, 4, 1), (3, 4, 2), (3, 4, 6), (3, 5, 1), (3, 5, 2), (3, 5, 6)]

---

当列表数量超过 20 个时，它可以正常工作，但需要的时间太长。[...] 列表的最大数量为 40，每个列表中的项目最多可以达到 20 个。

这些列表非常多且非常大。即使对于每个包含 3 个元素的 20 个列表，您也必须经过 3^20 = 3,486,784,401 种组合。这仍然可行，但您应该使用生成器表达式，而不是列表推导式，即 (...) 而不是 [...]：

gen = (x for x in itertools.product(*b) if len(x) == len(set(x)))
for x in gen:
    # do stuff

对于每个包含 20 个元素的 40 个列表，您会得到多达 10^52 个组合。在你生成所有这些之前，宇宙可能会死去。假设大多数（实际上几乎所有）包含重复项，您可以尝试更聪明的算法，在遇到组合时立即跳过整个“分支”第一个副本，但我怀疑即使是那些也会有很大帮助。

Answer 3

这里有 3 种方法可以做到这一点

a = [1,2,3],[1,4,5]

1. filter(lambda x: x[0] != x[1], [(x,y) for x in a[0] for y in a[1]])
   

2. combinations = list(itertools.product(*a))
   [value for value in combinations if value[0] != value[1]]
   

3. filter(lambda x:x[0] != x[1], combinations)
   

Answer 4

像这样编辑代码的第二部分：

for  comb in combinations:
    if comb[0] == comb[1]:
        combinations.remove(comb)