Python 错误：额外数据：加载大 Json 文件时的第 1 行

Question

我正在尝试读取一个 370 MB 的 JSON 文件

import json
data = open( "data.json" ,"r")
json.loads(data.read())

而且不可能轻易找到以下错误的根本原因，

json.decoder.JSONDecodeError: Extra data: line 1 column 1024109 (char 1024108)

我查看了类似的问题并尝试了以下 StackOverflow answer

import json
data = [json.loads(line) for line in open('data.json', 'r')]

但它并没有解决问题。我想知道是否有任何解决方案可以找到文件中发生错误的位置。我从同一来源获取了一些其他文件，它们运行没有任何问题。

一小部分 Json 文件是一个字典列表，例如，

{
"uri": "p",
"source": {
    "uri": "dail",
    "dataType": "pr",
    "title": "Daily"
},
"authors": [
    {
        "type": "author",
        "isAgency": false
    }
],
"concepts": [

    {
        "amb": false,
        "imp": true,
        "date": "2019-05-23",
        "textStart": 2459,
        "textEnd": 2467
    },
    {
        "amb": false,
        "imp": true,
        "date": "2019-05-09",
        "textStart": 2684,
        "textEnd": 2691
    }
],
"shares": {},
"wgt": 100,
"relevance": 100
}

Answer 1

json 库的问题是将所有内容加载到内存并完整解析然后在内存中处理，这对于如此大量的数据显然是有问题的。

相反，我建议看看https://github.com/henu/bigjson

import bigjson

with open('data.json', 'rb') as f:
    json_data = bigjson.load(f)