ValueError：使用python导入json文件时出现额外数据错误

Question

我正在尝试构建一个将 json 文件导入 MongoDB 的 python 脚本。我的这部分脚本不断跳转到except ValueError 以获得更大的 json 文件。我认为这与逐行解析 json 文件有关，因为非常小的 json 文件似乎可以工作。

def read(jsonFiles):
from pymongo import MongoClient

client = MongoClient('mongodb://localhost:27017/')
db = client[args.db]

counter = 0
for jsonFile in jsonFiles:
    with open(jsonFile, 'r') as f:
        for line in f:
            # load valid lines (should probably use rstrip)
            if len(line) < 10: continue
            try:
                db[args.collection].insert(json.loads(line))
                counter += 1
            except pymongo.errors.DuplicateKeyError as dke:
                if args.verbose:
                    print "Duplicate Key Error: ", dke
            except ValueError as e:
                if args.verbose:
                    print "Value Error: ", e

                    # friendly log message
            if 0 == counter % 100 and 0 != counter and args.verbose: print "loaded line:", counter
            if counter >= args.max:
                break

我收到以下错误消息：

Value Error:  Extra data: line 1 column 10 - line 2 column 1 (char 9 - 20)
Value Error:  Extra data: line 1 column 8 - line 2 column 1 (char 7 - 18)

Answer 1

想通了。看起来把它分成几行是错误的。这是最终代码的样子。

counter = 0
for jsonFile in jsonFiles:
    with open(jsonFile) as f:
        data = f.read()
        jsondata = json.loads(data)
        try:
            db[args.collection].insert(jsondata)
            counter += 1

Answer 2

看这个例子：

s = """{ "data": { "one":1 } },{ "1": { "two":2 } }"""
json.load( s )

它会在你的 json 文件中产生“额外数据”错误：

ValueError：额外数据：第 1 行第 24 列 - 第 1 行第 45 列（字符 23 - 44）

这是因为这不是一个有效的 JSON 对象。它包含两个独立的“dict”，用冒号分隔。也许这可以帮助您找到 JSON 文件中的错误。

在this post 您可以找到更多信息。