无法使用带有 if 条件的列表推导从现有列表创建重复列表

Question

我有一个带有重复元素的排序列表，例如

>>> randList = [1, 2, 2, 3, 4, 4, 5]
>>> randList
[1, 2, 2, 3, 4, 4, 5]

我需要创建一个删除相邻重复元素的列表。我可以这样做：

>>>> dupList = []
     for num in nums:
       if num not in dupList:
         dupList.append(num)

但我想通过列表理解来做到这一点。我尝试了以下代码：

>>> newList = []
>>> newList = [num for num in randList if num not in newList]

但我得到的结果就像 if 条件不起作用。

>>> newList
[1, 2, 2, 3, 4, 4, 5]

任何帮助将不胜感激。 谢谢！！

编辑 1：鉴于我提供的数据，问题的措辞似乎确实令人困惑。我正在使用的 for 循环将删除 all 重复项，但由于我事先对列表进行了排序，因此在删除相邻的重复项时应该没有问题。

Answer 1

使用itertools.groupby 是删除相邻（且仅相邻）重复项的最简单方法，即使对于未排序的输入也是如此：

>>> from itertools import groupby
>>> [k for k, _ in groupby(randList)]
[1, 2, 3, 4, 5]

使用OrderedDict 可以有效地删除所有重复项，同时保持出现的顺序。这也适用于有序和无序输入：

>>> from collections import OrderedDict
>>> list(OrderedDict.fromkeys(randList))
[1, 2, 3, 4, 5]

Answer 2

我需要创建一个删除相邻重复元素的列表

请注意，您的 for 基于循环的解决方案将删除所有重复项，而不仅仅是相邻的。用这个测试它：

rand_list = [1, 2, 2, 3, 4, 4, 2, 5, 1]

根据您的规范，结果应该是：

[1, 2, 3, 4, 2, 5, 1]

但你会得到

[1, 2, 3, 4, 5]

改为。

仅删除 相邻 个重复项的可行解决方案是使用生成器：

def dedup_adjacent(seq):
    prev = seq[0]
    yield prev
    for current in seq[1:]:
        if current == prev:
            continue
        yield current
        prev = current

rand_list = [1, 2, 2, 3, 4, 4, 2, 5, 1]
list(dedup_adjacent(rand_list))

=> [1, 2, 3, 4, 2, 5, 1]

Answer 3

Python 首先评估列表推导，然后将其分配给 newList，因此您无法在执行列表推导期间引用它。

您可以通过两种方式删除重复项：-
1.使用for循环

rand_list = [1,2,2,3,3,4,5]
new_list=[]
for i in rand_list:
    if i not in new_list:
        new_list.append(i)

1. 将列表转换为集合，然后再次将集合转换为列表，最后对新列表进行排序。
   由于 set 以任何顺序存储值，因此当我们将 set 转换为列表时，您需要对列表进行排序，以便您按升序获取项目

   rand_list = [1,2,2,3,3,4,5] sets = set(rand_list) new_list = list(sets) new_list.sort()

Answer 4

更新：不同方法的比较

已经有三种方法可以实现删除排序列表中相邻重复元素的目标，即删除所有重复项：

• 使用groupby（仅相邻元素，需要初始排序）
• 使用OrderedDict（删除所有重复项）
• 使用sorted(list(set(_)))（删除所有重复项，通过排序恢复排序）。

我比较了不同解决方案的运行时间：

from timeit import timeit

print('groupby:', timeit('from itertools import groupby; l = [x // 5 for x in range(1000)]; [k for k, _ in groupby(l)]'))
print('OrderedDict:', timeit('from collections import OrderedDict; l = [x // 5 for x in range(1000)]; list(OrderedDict.fromkeys(l))'))
print('Set:', timeit('l = [x // 5 for x in range(1000)]; sorted(list(set(l)))'))

> groupby: 78.83623623599942
> OrderedDict: 94.54144410200024
> Set: 65.60372123999969

请注意，set 方法是所有替代方法中最快的。

旧答案

Python 首先评估列表推导，然后将其分配给newList，因此您无法在执行列表推导期间引用它。为了说明，请考虑以下代码：

randList = [1, 2, 2, 3, 4, 4, 5]

newList = []
newList = [num for num in randList if print(newList)]

> []
> []
> []
> …

如果您尝试，这一点会变得更加明显：

# Do not initialize newList2
newList2 = [num for num in randList if print(newList2)]

> NameError: name 'newList2' is not defined

您可以通过将 randList 变成一个集合来删除重复项：

sorted(list(set(randlist)))

> [1, 2, 3, 4, 5]

请注意，这会删除所有重复项（不仅仅是相邻的），并且不会保留顺序。前者也适用于您提出的带有循环的解决方案。

编辑：添加了一个sorted 子句来指定所需的排序。

Answer 5

在newList = [num for num in randList if num not in newList]这一行，首先list会在右侧创建，然后分配给newList。这就是为什么每次检查 if num not in newList 时都会返回 True。因为newList 在分配之前一直是空的。

你可以试试这个：

randList = [1, 2, 2, 3, 4, 4, 5]
new_list=[]
for i in randList:
    if i not in new_list:
        new_list.append(i)

print(new_list)

Answer 6

您无法在进行时访问列表理解中的项目。列表推导式中的项目只有在推导式完成后才能访问。

对于大型列表，检查列表中的成员将是昂贵的，尽管内存需求最少。相反，您可以附加到 set:

randList = [1, 2, 2, 3, 4, 4, 5]

def gen_values(L):
    seen = set()
    for i in L:
        if i not in seen:
            seen.add(i)
            yield i

print(list(gen_values(randList)))

[1, 2, 3, 4, 5]

此算法已在第 3 方 toolz 库中实现。在itertools 文档中也称为unique_everseen 配方：

from toolz import unique

res = list(unique(randList))

Answer 7

由于您的列表已排序，因此使用set 将是实现目标的最快方式，如下所示：

>>> randList = [1, 2, 2, 3, 4, 4, 5]
>>> randList
[1, 2, 2, 3, 4, 4, 5]
>>> remove_dup_list = list(set(randList))
>>> remove_dup_list
[1, 2, 3, 4, 5]
>>>