itertools.groupby 函数似乎不一致

Question

我无法准确理解这个函数的作用，因为我猜是围绕它的使用的编程魔法？

在我看来，它返回了与迭代器配对的键列表（字符串中的唯一字母），它引用了原始字符串中每个字母的数量列表，但有时似乎不是案例。

例如：

import itertools

x = list(itertools.groupby("AAABBB"))
print x

哪个打印：

[('A', <itertools._grouper object at 0x101a0b050), 
 ('B', <itertools._grouper object at 0x101a0b090)]

这似乎是正确的，我们将唯一键与迭代器配对。但是当我运行时：

print list(x[0][1])

我明白了：

[]

当我跑步时

for k, g in x:
    print k + ' - ' + g

我明白了：

B - <itertools._grouper object at 0x1007eedd5>

它忽略第一个元素。这似乎违反直觉，因为如果我只是稍微改变一下语法：

[list(g) for k, g in itertools.groupby("AAABBB")]

我明白了：

[["A", "A", "A"], ["B", "B", "B"]]

这是正确的，并且与我认为这个函数应该做的一致。

但是，如果我再稍微改变一下语法：

[list(thing) for thing in [g for k, g in itertools.groupby(string)]]

我回来了：

[[], ['B']]

这两个列表推导应该直接等价，但它们返回不同的结果。

发生了什么事？非常感谢您的洞察力。

Answer 1

文档已经解释了为什么您的 listcomps 不等效：

返回的组本身就是一个迭代器，它与 groupby() 共享底层迭代。因为源是共享的，所以当 groupby() 对象高级时，之前的组不再可见。因此，如果以后需要该数据，则应将其存储为列表

你的

[list(g) for k, g in itertools.groupby("AAABBB")]

确实在groupby() 前进之前使用每个组，所以它可以工作。

你的

[list(thing) for thing in [g for k, g in itertools.groupby(string)]]

在生成所有组之前不使用任何组。完全不一样，原因是引用的文档解释了。

Answer 2

要获得您期望的答案，请将返回的迭代器转换为列表。

Groupby 懒惰地使用输入迭代器（这意味着它仅在需要时读取数据）。要找到一个新组，它需要读取下一个不相等的元素（下一个组的第一个成员）。如果您列出子组迭代器，它会将输入推进到当前组的末尾。

一般来说，如果你前进到下一个组，那么之前返回的子组迭代器不会有数据，并且会显示为空。因此，如果您需要子组迭代器中的数据，则需要列出它在前进到下一个组。

这种行为的原因是迭代器都是一次查看一个数据，而不是在内存中保留任何不必要的数据。

下面是一些使所有操作可见的代码：

from itertools import groupby

def supply():
    'Make the lazy input visible'
    for c in 'aaaaabbbcdddddddeeee':
        print('supplying %r' % c)
        yield c

print("\nCase where we don't consume the sub-iterator")
for k, g in groupby(supply()):
    print('Got group for %r' % k)

print("\nCase where we do consume the sub-iterator before advancing")
for k, g in groupby(supply()):
    print('Got group for %r' % k)
    print(list(g))

在“这让你发疯”的示例中，list 操作应用得太晚（在外部列表理解中）。解决方法是将list这一步移到内推：

>>> import itertools
>>> [list(g) for k, g in itertools.groupby('aaaaabbbb')]
>>> [['a', 'a', 'a', 'a', 'a'], ['b', 'b', 'b', 'b']]

如果您并不真正关心节省内存，那么运行grouped = [list(g) for k, g in itertools.groupby(data)] 是一个非常合理的方法。然后，您可以随时在任何子列表中查找数据，而不受有关何时使用迭代器的规则的约束。通常，列表列表比迭代器更容易使用。希望这会有所帮助:-)