【问题标题】:Python Remove duplicates from list of dictionaries based on a valuePython根据值从字典列表中删除重复项
【发布时间】:2016-03-13 12:50:26
【问题描述】:

我有字典列表

vals = [
         {'tmpl_id': 67,  'qty_available': -3.0, 'product_id': 72, 'product_qty': 1.0},     
         {'tmpl_id': 67,  'qty_available': 5.0, 'product_id': 71, 'product_qty': 1.0}
         {'tmpl_id': 69,  'qty_available': 10.0, 'product_id': 74, 'product_qty': 1.0}
       ]

from operator import itemgetter
getvals = operator.itemgetter('tmpl_id')

val.sort(key=getvals)

result = []

for k, g in itertools.groupby(val, getvals):

    result.append(g.next())

val[:] = result

我想删除重复值 (tmpl_id) 并且还基于 qty_available 较小或为负数

输出如下:

vals = [
          {'tmpl_id': 67,  'qty_available': 5.0, 'product_id': 71, 'product_qty': 1.0}
          {'tmpl_id': 69,  'qty_available': 10.0, 'product_id': 74, 'product_qty': 1.0}
       ]

【问题讨论】:

  • 你应该展示你已经尝试过的东西并说出你现在卡在哪里了。如果您能表现出自己的努力,人们会为您提供更多帮助...
  • 数据是否按'qty_available':排序?
  • @SergeBallestav 问题已更新
  • @PadraicCunningham 不,我只是将它用于测试数据

标签: python list dictionary


【解决方案1】:

您可以使用来自"tmpl_id" 的值作为将dict 设置为值的键来存储dicts,如果您得到一个具有更高'qty_available' 的dict,那么您可以用当前的dict 替换:

def remove_dupes(l, k, k2):
    seen = {} 
    for d in vals:
        v, v2 = d[k], d[k2]
        if v not in seen:
            seen[v] = d
        elif v2 > seen[v][k2]:
            seen[v] = d
    return seen

vals[:] = remove_dupes(vals, "tmpl_id",'qty_available' ).values()

输出:

[{'product_id': 71, 'qty_available': 5.0, 'tmpl_id': 67, 'product_qty': 1.0}, 
{'product_id': 74, 'qty_available': 10.0, 'tmpl_id': 69, 'product_qty': 1.0}]

如果你要使用 sorted 和 groupby,你只需要反向排序并从每个 v 中获取第一个值:

from itertools import groupby
from operator import itemgetter

keys = itemgetter("tmpl_id",'qty_available')

vals[:] = (next(v) for k,v in groupby(sorted(vals, key=keys,reverse=True), 
                 key=itemgetter("tmpl_id")))

print(vals)

颠倒排序意味着更高的'qty_available' 将首先出现,因此对于唯一的字典,它只会给你那个字典,对于重复的 tmpl_id,你会得到 qty_available'` 值最大的那个。

如果您想要就地排序而不是创建新列表,只需使用 vals.sort() 并删除对 sorted 的调用

【讨论】:

    【解决方案2】:
    from collections import Counter
    
    vals = [{'tmpl_id': 67,  'qty_available': -3.0, 'product_id': 72, 'product_qty': 1.0},
            {'tmpl_id': 67,  'qty_available': 5.0, 'product_id': 71, 'product_qty': 1.0},
            {'tmpl_id': 69,  'qty_available': 10.0, 'product_id': 74, 'product_qty': 1.0},]
    
    k = [x['tmpl_id'] for x in vals]
    
    new_vals=[]
    
    for i in Counter(k):
        all = [x for x in vals if x['tmpl_id']==i]
        new_vals.append(max(all, key=lambda x: x['qty_available']))
    
    >>> new_vals
    [
        {'product_qty': 1.0, 'qty_available': 5.0, 'tmpl_id': 67, 'product_id': 71}, 
        {'product_qty': 1.0, 'qty_available': 10.0, 'tmpl_id': 69, 'product_id': 74}
    ]
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2016-03-14
      • 2021-08-26
      • 2012-02-16
      • 2013-02-12
      • 2017-08-13
      • 1970-01-01
      相关资源
      最近更新 更多