【发布时间】：2013-11-29 02:27:10
【问题描述】：
我想在 Python/R 中读取 JSON 数据（12 GB）。
如果我使用 json.loads() 函数，它会出现内存错误。
我对数据一无所知。是否可以读取部分数据？
请帮忙
【问题讨论】：
-
如果您的 RAM 至少没有超过 12 GB，您将无法读取 12 GB。
-
数据是单个JSON对象吗？或者你能分成更小的块吗？
-
回答@Hamish的问题，很重要。
-
如果文件是不同行上的一堆 json 对象，那么单独解析每一行是微不足道的。如果没有，您将不得不使用流式解析器（qiangwang 和 PepperoniPizza 的建议），它可以让您在解析数据时观察数据，保留您需要的数据，然后丢弃其余数据。