如何构建生成器函数来完成跳过重复项

Question

我想创建一个循环输入可迭代序列的生成器函数，一次生成一个元素，但跳过重复项。示例代码如下：

numbers = [4, 5, 2, 6, 2, 3, 5, 8]
nums = unique(numbers)
    next(nums)
4
    next(nums)
5
    next(nums)
2
    next(nums)
6
    next(nums)
3
    next(nums)
8

有没有人知道为什么这段代码没有打印出来？

def unique(iterable):
    seen = set()
    for n in iterable:
        if n not in seen:
            seen.add(n)
            yield n

numbers = [4, 5, 2, 6, 2, 3, 5, 8]
nums = unique(numbers)
print(next(nums))

Answer 1

一个简单的唯一生成器将只保留一个set 已看到的项目，例如：

def unique(nums):
    seen = set()
    for n in nums:
        if n not in seen:
            seen.add(n)
            yield n

In []:
numbers = [4, 5, 2, 6, 2, 3, 5, 8]
list(unique(numbers))

Out[]:
[4, 5, 2, 6, 3, 8]

Answer 2

最简单的方法是use OrderedDict，这是一种在保持顺序的同时进行重复数据删除的简单方法：

from collections import OrderedDict

def unique(nums):
    yield from OrderedDict.fromkeys(nums)

从技术上讲，它运行迅速（所有重复数据删除都是预先完成的，然后您迭代完全重复数据删除的OrderedDict），但所有其他解决方案最终都需要构建一个等效的set，所以这会延迟生产第一个值，但总体上做的工作量相同（在 Python 版本中，使用 C 实现 OrderedDict，运行速度比使用 set 作为“可见”存储的手动生成器更快）。它不适合的情况是无限输入可迭代对象和有限但大的可迭代对象，您可能会在完成之前停止处理它们（在这种情况下，需要基于set 的更懒惰的unique_everseen 解决方案） .

在 Python 3.6 及更高版本上，plain dict preserves order（虽然是 it's not an official guarantee until 3.7），所以您甚至不需要导入：

def unique(nums):
    yield from dict.fromkeys(nums)

Answer 3

您需要发电机有什么原因吗？为什么不直接使用set？

numbers = [4, 5, 2, 6, 2, 3, 5, 8]
for i in set(numbers):
    print(i)

如果你真的需要生成器：

def skipper(l):
    for i in set(l):
        yield i

for i in skipper(numbers):
    print(i)