bson.errors.InvalidDocument: key '$numberDecimal' 在使用 json 时不能以 '$' 开头答案

【问题标题】：bson.errors.InvalidDocument: key '$numberDecimal' must not start with '$' when using jsonbson.errors.InvalidDocument: key '$numberDecimal' 在使用 json 时不能以 '$' 开头
【发布时间】：2020-04-29 10:08:27
【问题描述】：

我有一个小的 json 文件，包含以下几行：

{
    "IdTitulo": "Jaws",
    "IdDirector": "Steven Spielberg",
    "IdNumber": 8,
    "IdDecimal": "2.33"
}

我的数据库集合中有一个模式，名为 test_dec。这是我用来创建架构的：

db.createCollection("test_dec",
{validator: {
    $jsonSchema: {
         bsonType: "object",
         required: ["IdTitulo","IdDirector"],
         properties: {
         IdTitulo: {
                "bsonType": "string",
                "description": "string type, nombre de la pelicula"
            },
         IdDirector: {
                "bsonType": "string",
                "description": "string type, nombre del director"
            },
        IdNumber : {
                "bsonType": "int",
                "description": "number type to test"
            },
        IdDecimal : {
                 "bsonType": "decimal",
                 "description": "decimal type"
                    }
       }
    }}
    })

我已多次尝试插入数据。问题出在 IdDecimal 字段值中。

一些试验，将 IdDecimal 行替换为：

 "IdDecimal": 2.33

 "IdDecimal": {"$numberDecimal": "2.33"}

 "IdDecimal": NumberDecimal("2.33")

它们都不起作用。第二个是MongoDB手册（mongodb-extended-json）提供的正式解决方案，错误是我在我的问题中放置的输出： bson.errors.InvalidDocument: key'$numberDecimal' must not start with '$' .

我目前正在使用 python 来加载 json。我一直在玩这个文件：

import os,sys
import re
import io
import json
from pymongo import MongoClient
from bson.raw_bson import RawBSONDocument
from bson.json_util import CANONICAL_JSON_OPTIONS,dumps,loads
import bsonjs as bs

#connection
client = MongoClient('localhost',27018,document_class=RawBSONDocument)
db     = client['myDB']
coll   = db['test_dec']   
other_col = db['free']                                                                                        

for fname in os.listdir('/mnt/win/load'):                                                                               
    num = re.findall("\d+", fname)

    if num:

       with io.open(fname, encoding="ISO-8859-1") as f:

            doc_data = loads(dumps(f,json_options=CANONICAL_JSON_OPTIONS))

            print(doc_data) 

            test = '{"idTitulo":"La pelicula","idRelease":2019}'
            raw_bson = bs.loads(test)
            load_raw = RawBSONDocument(raw_bson)

            db.other_col.insert_one(load_raw)


client.close()

我正在使用 json 文件。如果我尝试解析 Decimal128('2.33') 之类的内容，则输出为“ValueError: No JSON object could be decoded”，因为我的 json 格式无效。

结果

    db.other_col.insert_one(load_raw)

是不是插入了“test”的内容。但我不能将 doc_data 与 RawBSONDocument 一起使用，因为它就是这样。它说：

  TypeError: unpack_from() argument 1 must be string or buffer, not list:

当我设法将 json 直接解析为 RawBSONDocument 时，我得到了所有的垃圾，并且数据库中的记录看起来像这里的示例：

   {
    "_id" : ObjectId("5eb2920a34eea737626667c2"),
    "0" : "{\n",
    "1" : "\t\"IdTitulo\": \"Gremlins\",\n",
    "2" : "\t\"IdDirector\": \"Joe Dante\",\n",
    "3" : "\t\"IdNumber\": 6,\n",
    "4" : "\"IdDate\": {\"$date\": \"2010-06-18T:00.12:00Z\"}\t\n",
    "5" : "}\n"
     }

似乎将扩展的 json 加载到 MongoDB 中并不是那么简单。扩展版是因为我想使用架构验证。

Oleg 指出它是 numberDecimal 而不是 NumberDecimal，因为我以前有它。我已经修复了 json 文件，但没有任何改变。

执行：

with io.open(fname, encoding="ISO-8859-1") as f:
      doc_data = json.load(f)                
      coll.insert(doc_data)

还有json文件：

 {
    "IdTitulo": "Gremlins",
    "IdDirector": "Joe Dante",
    "IdNumber": 6,
    "IdDecimal": {"$numberDecimal": "3.45"}
 }

【问题讨论】：

这能回答你的问题吗？ Python - Pymongo MongoDB 3.4 - NumberDecimal
没有。我正在使用一个json。如果我尝试将 IdDecimal 替换为 Decimal128("2.33") 错误状态：“ValueError: No JSON object could be decoded”

标签： python json mongodb bson

【解决方案1】：

我再掷一次骰子。如果您按原样使用模式验证，我建议您定义一个类并明确定义每个字段以及您建议如何将该字段转换为相关的 python 数据类型。虽然您的解决方案是通用的，但数据结构必须是严格的以匹配验证。

IMO 这更清楚，您可以控制班级内的任何错误等。

只是为了确认我运行了架构验证，并且这适用于提供的验证。

from pymongo import MongoClient
import bson.json_util
import dateutil.parser
import json

class Film:
    def __init__(self, file):
        data = file.read()
        loaded = json.loads(data)
        self.IdTitulo  = loaded.get('IdTitulo')
        self.IdDirector = loaded.get('IdDirector')
        self.IdDecimal = bson.json_util.Decimal128(loaded.get('IdDecimal'))
        self.IdNumber = int(loaded.get('IdNumber'))
        self.IdDateTime = dateutil.parser.parse(loaded.get('IdDateTime'))

    def insert_one(self, collection):
        collection.insert_one(self.__dict__)

client = MongoClient()
mycollection = client.mydatabase.test_dec

with open('c:/temp/1.json', 'r') as jfile:
    film = Film(jfile)
    film.insert_one(mycollection)

给予：

> db.test_dec.findOne()
{
        "_id" : ObjectId("5eba79eabf951a15d32843ae"),
        "IdTitulo" : "Jaws",
        "IdDirector" : "Steven Spielberg",
        "IdDecimal" : NumberDecimal("2.33"),
        "IdNumber" : 8,
        "IdDateTime" : ISODate("2020-05-12T10:08:21Z")
}

使用的 JSON 文件：

{
    "IdTitulo": "Jaws",
    "IdDirector": "Steven Spielberg",
    "IdNumber": 8,
    "IdDecimal": "2.33",
    "IdDateTime": "2020-05-12T11:08:21+0100"
}

【讨论】：

【解决方案2】：

带有类型信息的 JSON 称为Extended JSON。按照示例，为您的数据构建扩展 json：

ext_json = '''
{
    "IdTitulo": "Jaws",
    "IdDirector": "Steven Spielberg",
    "IdNumber": 8,
    "IdDecimal": {"$numberDecimal":"2.33"}
}
'''

在 Python 中，使用 json_util 将扩展的 json 加载到 Python 字典中：

from bson.json_util import loads

doc = loads(ext_json)

print(doc)

# {u'IdTitulo': u'Jaws', u'IdDirector': u'Steven Spielberg', u'IdDecimal': Decimal128('2.33'), u'IdNumber': 8}

这种加载的结果有时被称为“BSON 文档”，但它不是 BSON，它是二进制的。在这种情况下，“BSON”实际上意味着某些值不是 python 标准库类型。 “文档”部分基本上意味着对象是一个字典。

您会注意到 IdNumber 属于非标准库类型：

print type(doc['IdDecimal'])

# <class 'bson.decimal128.Decimal128'>

要将此字典插入 MongoDB，请关注pymongo tutorial：

from pymongo import MongoClient
client = MongoClient('localhost', 14420)

db = client.test_database

collection = db.test_collection

collection.insert_one(doc)

print(doc)

【讨论】：

它是指向具有通用 cmets 的页面的链接。在我的情况下没有用。不过谢谢。
那你问的是什么？你的问题没有问题。
我想我在尝试从 json 文件中读取以使用模式验证将内容插入到 MongoDB 中的集合时暴露了我的问题。我已经发布了我的脚本和输出结果。
$numberDecimal 中的 n 是小写的。
完全正确，谢谢！！但错误仍然存在。我更新了帖子。

【解决方案3】：

最后，我找到了解决方案，它正在使用 RawBSONDocument。

首先是json文件：

{
    "IdTitulo": "Dead Snow",
    "IdDirector": "Tommy Wirkola",
    "IdNumber": 11,
    "IdDecimal": {"$numberDecimal": "2.22"}
}

& 验证模式文件：

db.createCollection("test_dec",
  {validator: {
     $jsonSchema: {
        bsonType: "object",
        required: ["IdTitulo","IdDirector"],
        properties: {
            IdTitulo: {
                "bsonType": "string",
                "description": "string type, nombre de la pelicula"
                },
            IdDirector: {
                "bsonType": "string",
                "description": "string type, nombre del director"
                },
            IdNumber : {
                "bsonType": "int",
                "description": "number type to test"
               },
            IdDecimal : {
                 "bsonType": "decimal",
                 "description": "decimal type"
                }
             }
          }}
   })

所以，本例中的集合是“test_dec”。

以及打开文件“.json”的python脚本，读取并解析它以导入MongoDB。

import json
from bson.raw_bson import RawBSONDocument
from pymongo import MongoClient
import bsonjs

#connection
client = MongoClient('localhost',27018)
db     = client['movieDB']
coll   = db['test_dec']

#open an read file
with open('1.json', 'r') as jfile:
    data = jfile.read()

    loaded = json.loads(data)
    dumped = json.dumps(loaded, indent=4)
    bson_bytes = bsonjs.loads(dumped)

    coll.insert_one(RawBSONDocument(bson_bytes))


client.close()

插入的文档：

{
    "_id" : ObjectId("5eb971ec6fbab859dfae8a6f"),
    "IdTitulo" : "Dead Snow",
    "IdDirector" : "Toomy Wirkola",
    "IdDecimal" : NumberDecimal("2.22"),
    "IdNumber" : 11
 }

我不知道它是如何翻转 IdDecimal 和 IdNumber 字段的，但它通过了验证，我真的很高兴。

我尝试使用 'hello' 而不是 NumberDecimal 中的数字的文档，插入结果如下：

 {
    "_id" : ObjectId("5eb973b76fbab859dfae8ecd"),
    "IdTitulo" : "Shining",
    "IdDirector" : "Stanley Kubrick",
    "IdDecimal" : NumberDecimal("NaN"),
    "IdNumber" : 19
  }

感谢所有试图提供帮助的人。特别是奥列格！！！谢谢你这么有耐心。

【讨论】：

【解决方案4】：

你不能只用bson.decimal128.Decimal128吗？是不是我错过了什么？

from pymongo import MongoClient
from bson.decimal128 import Decimal128

db = MongoClient()['mydatabase']

data = {
    "IdTitulo": "Jaws",
    "IdDirector": "Steven Spielberg",
    "IdNumber": 8,
    "IdDecimal": "2.33"
}

data['IdDecimal'] = Decimal128(data['IdDecimal'])
db.other_col.insert_one(data)

【讨论】：

问题基本上是打开一个json文件。我看到的所有示例，包括有人在此处发布的解决方案，都是在脚本中以 json 格式放置几行，但实际上它们并没有打开 json 文件以将其内容加载到具有模式验证的 MongoDB 中。如果不是为了验证，它可以正常工作。但是，如果您的架构中有日期格式或小数，或者任何其他扩展功能，我发现解决问题的唯一方法是使用我在解决这个问题后自己发布的代码。关键是要使用：read()、一些转储和加载以及 RawBSONDocument。
如果你有很多这些，我建议为每种类型创建一个类，有一个方法将 JSON 从文件读取到类中，然后使用另一种方法来转换相关字段到相应的 pymongo 数据类型（例如 datetime.datetime、bson.decimal128.Decimal128 等），然后是一种将插入/更新插入 mongodb 的方法。
我知道你自己已经“解决”了这个问题，但我添加了另一个答案来解释它是如何工作的。