itertools.groupby() 是做什么用的？

Question

在阅读 python 文档时，我遇到了itertools.groupby() 功能。这不是很简单，所以我决定在 stackoverflow 上查找一些信息。我从How do I use Python's itertools.groupby()? 找到了一些东西。

这里和文档中似乎很少有关于它的信息，所以我决定发布我对 cme​​ts 的观察。

谢谢

Answer 1

与往常一样，documentation of the function 应该是第一个要检查的地方。然而itertools.groupby 肯定是最棘手的itertools 之一，因为它有一些可能的陷阱：

• 如果它们的key-result 对于连续的项目是相同的，它只会对项目进行分组：

  from itertools import groupby
  
  for key, group in groupby([1,1,1,1,5,1,1,1,1,4]):
      print(key, list(group))
  # 1 [1, 1, 1, 1]
  # 5 [5]
  # 1 [1, 1, 1, 1]
  # 4 [4]
  

  之前可以使用sorted - 如果想要整体使用groupby。

• 它产生两个项目，第二个是一个迭代器（所以需要迭代第二个项目！）。在前面的示例中，我明确需要将这些转换为 list。

• 如果推进groupby-iterator，则丢弃第二个产生的元素：

  it = groupby([1,1,1,1,5,1,1,1,1,4])
  key1, group1 = next(it)
  key2, group2 = next(it)
  print(key1, list(group1))
  # 1 []
  

  即使group1 不为空！

正如已经提到的，可以使用sorted 进行整体groupby 操作，但效率极低（如果您想在生成器上使用 groupby，则会丢弃内存效率）。如果您不能保证输入是 sorted（也不需要 O(n log(n)) 排序时间开销），还有更好的选择：

• collections.defaultdict
• iteration_utilities.groupedby
• 可能更多。

但是，检查本地属性非常棒。 itertools-recipes section里有两个菜谱：

def all_equal(iterable):
    "Returns True if all the elements are equal to each other"
    g = groupby(iterable)
    return next(g, True) and not next(g, False)

和：

def unique_justseen(iterable, key=None):
    "List unique elements, preserving order. Remember only the element just seen."
    # unique_justseen('AAAABBBCCDAABBB') --> A B C D A B
    # unique_justseen('ABBCcAD', str.lower) --> A B C A D
    return map(next, map(itemgetter(1), groupby(iterable, key)))

Answer 2

首先，您可以阅读文档here。

我将把我认为最重要的一点放在首位。我希望通过示例后原因会变得清晰。

始终使用用于分组的相同键对项目进行排序以避免意外结果

itertools.groupby(iterable, key=None or some func) 获取可迭代的列表并根据指定的键对它们进行分组。键指定对每个单独的迭代应用什么操作，然后将其结果用作每个项目分组的标题；最终具有相同“键”值的项目将最终在同一组中。

返回值是一个类似于字典的可迭代对象，其格式为{key : value}。

示例 1

# note here that the tuple counts as one item in this list. I did not
# specify any key, so each item in the list is a key on its own.
c = groupby(['goat', 'dog', 'cow', 1, 1, 2, 3, 11, 10, ('persons', 'man', 'woman')])
dic = {}
for k, v in c:
    dic[k] = list(v)
dic

结果

{1: [1, 1],
 'goat': ['goat'],
 3: [3],
 'cow': ['cow'],
 ('persons', 'man', 'woman'): [('persons', 'man', 'woman')],
 10: [10],
 11: [11],
 2: [2],
 'dog': ['dog']}

示例 2

# notice here that mulato and camel don't show up. only the last element with a certain key shows up, like replacing earlier result
# the last result for c actually wipes out two previous results.

list_things = ['goat', 'dog', 'donkey', 'mulato', 'cow', 'cat', ('persons', 'man', 'woman'), \
               'wombat', 'mongoose', 'malloo', 'camel']
c = groupby(list_things, key=lambda x: x[0])
dic = {}
for k, v in c:
    dic[k] = list(v)
dic

结果

{'c': ['camel'],
 'd': ['dog', 'donkey'],
 'g': ['goat'],
 'm': ['mongoose', 'malloo'],
 'persons': [('persons', 'man', 'woman')],
 'w': ['wombat']}

现在是排序版本

 # but observe the sorted version where I have the data sorted first on same key I used for grouping
list_things = ['goat', 'dog', 'donkey', 'mulato', 'cow', 'cat', ('persons', 'man', 'woman'), \
               'wombat', 'mongoose', 'malloo', 'camel']
sorted_list = sorted(list_things, key = lambda x: x[0])
print(sorted_list)
print()
c = groupby(sorted_list, key=lambda x: x[0])
dic = {}
for k, v in c:
    dic[k] = list(v)
dic

结果

['cow', 'cat', 'camel', 'dog', 'donkey', 'goat', 'mulato', 'mongoose', 'malloo', ('persons', 'man', 'woman'), 'wombat']
{'c': ['cow', 'cat', 'camel'],
 'd': ['dog', 'donkey'],
 'g': ['goat'],
 'm': ['mulato', 'mongoose', 'malloo'],
 'persons': [('persons', 'man', 'woman')],
 'w': ['wombat']}

示例 3

things = [("animal", "bear"), ("animal", "duck"), ("plant", "cactus"), ("vehicle", "harley"), \
          ("vehicle", "speed boat"), ("vehicle", "school bus")]
dic = {}
f = lambda x: x[0]
for key, group in groupby(sorted(things, key=f), f):
    dic[key] = list(group)
dic

结果

{'animal': [('animal', 'bear'), ('animal', 'duck')],
 'plant': [('plant', 'cactus')],
 'vehicle': [('vehicle', 'harley'),
  ('vehicle', 'speed boat'),
  ('vehicle', 'school bus')]}

现在是排序版本。我在这里将元组更改为列表。无论哪种方式，结果都相同。

things = [["animal", "bear"], ["animal", "duck"], ["vehicle", "harley"], ["plant", "cactus"], \
          ["vehicle", "speed boat"], ["vehicle", "school bus"]]
dic = {}
f = lambda x: x[0]
for key, group in groupby(sorted(things, key=f), f):
    dic[key] = list(group)
dic

结果

{'animal': [['animal', 'bear'], ['animal', 'duck']],
 'plant': [['plant', 'cactus']],
 'vehicle': [['vehicle', 'harley'],
  ['vehicle', 'speed boat'],
  ['vehicle', 'school bus']]}