json.loads 允许字典中的重复键，覆盖第一个值

Question

>>> raw_post_data = request.raw_post_data
>>> print raw_post_data
{"group":{"groupId":"2", "groupName":"GroupName"}, "members":{"1":{"firstName":"fName","lastName":"LName","address":"address"},"1": {"firstName":"f_Name","lastName":"L_Name","address":"_address"}}}
>>> create_request = json.loads(raw_post_data)
>>> print create_request
{u'group': {u'groupName': u'GroupName', u'groupId': u'2'}, u'members': {u'1': {u'lastName': u'L_Name', u'firstName': u'f_Name', u'address': u'_address'}}}

正如您所见，当我使用 json.dumps() 时，具有键 '1' 的成员被覆盖

有没有办法在python中将其捕获为异常，说在来自客户端的请求中发现重复键？

Answer 1

The rfc 4627 for application/json media type 建议使用唯一键，但并未明确禁止：

对象中的名称应该是唯一的。

来自rfc 2119：

应该这个词，或形容词“推荐”，意味着那里
在特定情况下可能存在忽略a的正当理由
特定项目，但必须了解全部含义并
在选择不同的课程之前仔细权衡。

import json

def dict_raise_on_duplicates(ordered_pairs):
    """Reject duplicate keys."""
    d = {}
    for k, v in ordered_pairs:
        if k in d:
           raise ValueError("duplicate key: %r" % (k,))
        else:
           d[k] = v
    return d

json.loads(raw_post_data, object_pairs_hook=dict_raise_on_duplicates)
# -> ValueError: duplicate key: u'1'

Answer 2

这是answer by jfs 的 linter-fixed 和 type-annotated 版本。解决了各种 linter 突出显示的问题。它还针对 Python 3.6+ 进行了现代化改造，以使用 f-strings。

import json
from typing import Any, Dict, Hashable, List, Tuple

def raise_on_duplicate_keys(ordered_pairs: List[Tuple[Hashable, Any]]) -> Dict:
    """Raise ValueError if a duplicate key exists in provided ordered list of pairs, otherwise return a dict."""
    dict_out = {}
    for key, val in ordered_pairs:
        if key in dict_out:
            raise ValueError(f'Duplicate key: {key}')
        else:
            dict_out[key] = val
    return dict_out

json.loads('{"x": 1, "x": 2}', object_pairs_hook=raise_on_duplicate_keys)

ordered_pairs 上面是一个元组列表，每个元组都有一个键和一个值。请参阅object_pairs_hook 的文档。

Answer 3

或者，如果您想捕获所有重复键（每个级别），您可以使用 collections.Counter

from collections import Counter

class KeyWatcher(dict):

    def __init__(self, *args):
        duplicates = [d for d,i in Counter([pair[0] for pair in args[0]]).items() if i > 0]
        if duplicates:
            raise KeyError("Can't add duplicate keys {} to a json message".format(duplicates))
        self.update(*args[0])

json.loads(raw_post_data, object_pairs_hook=KeyWatcher)

Answer 4

我根据此问题的其他用户发布的解决方案编写的另一种方法是将这些重复项转换为数组：

def array_on_duplicate_keys(ordered_pairs):
    """Convert duplicate keys to arrays."""
    d = {}
    for k, v in ordered_pairs:
        if k in d:
            if type(d[k]) is list:
                d[k].append(v)
            else:
                d[k] = [d[k],v]
        else:
           d[k] = v
    return d

然后：

dict = json.loads('{"x": 1, "x": 2}', object_pairs_hook=array_on_duplicate_keys)

给你输出：

{'x': [1, 2]}

稍后，可以使用以下方法轻松检查条目的重复次数：

if type(dict['x']) is list:
    print('Non-unique entry in dict at x, found', len(dict['x']),'repetitions.')