【发布时间】:2017-01-13 07:45:32
【问题描述】:
我一直在尝试将大量 (>800mb) 数据写入 JSON 文件;我做了一些试验和错误来获得这个代码:
def write_to_cube(data):
with open('test.json') as file1:
temp_data = json.load(file1)
temp_data.update(data)
file1.close()
with open('test.json', 'w') as f:
json.dump(temp_data, f)
f.close()
要运行它只需调用函数write_to_cube({"some_data" = data})
现在这段代码的问题是它对于少量数据的速度很快,但是当test.json文件中有超过800mb时问题就来了。当我尝试更新或添加数据时,它需要很长时间。
我知道有simplejson 或jsonpickle 等外部库,我不太清楚如何使用它们。
有没有其他办法解决这个问题?
更新:
我不确定这怎么可能是重复的,其他文章没有提到编写或更新大型 JSON 文件,而只提到了解析。
Is there a memory efficient and fast way to load big json files in python?
Reading rather large json files in Python
以上都没有解决这个问题的重复。他们没有说任何关于写作或更新的事情。
【问题讨论】:
-
对于大量数据的序列化,基本上JSON不是一个好的格式选择。
-
您的问题已在以下主题中提出并回答:stackoverflow.com/questions/10382253/… 和 stackoverflow.com/questions/2400643/…
-
pypi.python.org 上还有其他 json 编码器,例如 ultrajson 或 ujson,它们往往比默认实现更快。试试看。他们倾向于序列化/反序列化到内存,然后读/写文件,因此内存开销是 800mb 加上远远超过内存中对象的演出(它的大小取决于数据是什么......它很容易成为多个演出)。问题是,这种大小的 json 文件会很慢,除非你有一台机器会有大量的 RAM 和快速的存储空间。您应该重新考虑如何存储这些数据。为这些数据创建一个 JSON 文件似乎是一个非常糟糕的主意。