从大型 json 文件中使用 python 加载元素

Question

所以，这是我的 json 文件。我想从中加载数据列表，一个一个，只有它。 然后，例如绘制它...

这是一个例子，因为我正在处理大型数据集，我无法加载所有文件（这会产生内存错误）。

{
  "earth": {
    "europe": [
      {"name": "Paris", "type": "city"},
      {"name": "Thames", "type": "river"}, 
      {"par": 2, "data": [1,7,4,7,5,7,7,6]}, 
      {"par": 2, "data": [1,0,4,1,5,1,1,1]}, 
      {"par": 2, "data": [1,0,0,0,5,0,0,0]}
        ],
    "america": [
      {"name": "Texas", "type": "state"}
    ]
  }
}

这是我尝试过的：

import ijson
filename = "testfile.json"

f = open(filename)
mylist = ijson.items(f, 'earth.europe[2].data.item')
print mylist

即使我尝试将其转换为列表，它也不会返回任何内容：

[]

Answer 1

您需要指定一个有效的前缀； ijson 前缀要么是字典中的键，要么是用于列表条目的单词item。您无法选择特定的列表项（因此 [2] 不起作用）。

如果您想要europe 列表中的所有data 键字典，则前缀为：

earth.europe.item.data
# ^ ------------------- outermost key must be 'earth'
#       ^ ------------- next key must be 'europe'
#              ^ ------ any value in the array
#                   ^   the value for the 'data' key

这会产生每个这样的列表：

>>> l = ijson.items(f, 'earth.europe.item.data')
>>> for data in l:
...     print data
...
[1, 7, 4, 7, 5, 7, 7, 6]
[1, 0, 4, 1, 5, 1, 1, 1]
[1, 0, 0, 0, 5, 0, 0, 0]

你不能在里面放通配符，所以你不能得到earth.*.item.data。

如果您需要进行更复杂的前缀匹配，则必须使用ijson.parse() 函数并处理由此产生的事件。您可以重用 ijson.ObjectBuilder() 类将您感兴趣的事件转换为 Python 对象：

parser = ijson.parse(f)
for prefix, event, value in parser:
    if event != 'start_array':
        continue
    if prefix.startswith('earth.') and prefix.endswith('.item.data'):
        continent = prefix.split('.', 2)[1]
        builder = ijson.ObjectBuilder()
        builder.event(event, value)
        for nprefix, event, value in parser:
            if (nprefix, event) == (prefix, 'end_array'):
                break
            builder.event(event, value)
        data = builder.value
        print continent, data

这将使用'earth' 键打印列表中'data' 键下的每个数组（因此位于以'.item.data' 结尾的前缀下）。它还提取大陆键。

Answer 2

鉴于您的 json 结构，我会这样做：

import json

filename = "test.json"

with open(filename) as data_file:
    data = json.load(data_file)
print data['earth']['europe'][2]['data']
print type(data['earth']['europe'][2]['data'])

Answer 3

所以，我将解释我最终是如何解决这个问题的。 第一个答案会起作用。但是你必须知道，使用 ijson 一个一个地加载元素会很长......到最后，你没有加载的文件。

因此，重要的信息是 windows 将每个进程的内存限制为 2 或 4 GB，具体取决于您使用的窗口（32 或 64）。如果你使用 pythonxy，那将是 2 GB（它只存在于 32 中）。无论如何，这两种方式都非常非常低！

我通过在我的 Windows 中安装一个虚拟 Linux 解决了这个问题，它可以工作。以下是这样做的主要步骤：

1. 安装Virtual Box
2. 安装Ubuntu (for exemple)
3. 在您的计算机上为科学家安装 python，like SciPy
4. 在两台“计算机”之间创建一个共享文件（您可以在 google 上找到教程）
5. 在您的 ubuntu“计算机”上执行您的代码：它应该可以工作 ;)

注意：不要忘记为您的虚拟计算机留出足够的 RAM 和内存。

这对我有用。我不再有这个“内存错误”的问题了。