【问题标题】:How to write large JSON data?如何编写大型 JSON 数据?
【发布时间】:2017-01-13 07:45:32
【问题描述】:

我一直在尝试将大量 (>800mb) 数据写入 JSON 文件;我做了一些试验和错误来获得这个代码:

def write_to_cube(data):
    with open('test.json') as file1:
        temp_data = json.load(file1)

    temp_data.update(data)

    file1.close()

    with open('test.json', 'w') as f:
        json.dump(temp_data, f)

        f.close()

要运行它只需调用函数write_to_cube({"some_data" = data})

现在这段代码的问题是它对于少量数据的速度很快,但是当test.json文件中有超过800mb时问题就来了。当我尝试更新或添加数据时,它需要很长时间。

我知道有simplejson 或jsonpickle 等外部库,我不太清楚如何使用它们。

有没有其他办法解决这个问题?

更新:

我不确定这怎么可能是重复的,其他文章没有提到编写或更新大型 JSON 文件,而只提到了解析。

Is there a memory efficient and fast way to load big json files in python?

Reading rather large json files in Python

以上都没有解决这个问题的重复。他们没有说任何关于写作或更新的事情。

【问题讨论】:

标签: python json


【解决方案1】:

所以问题是您的操作时间很长。以下是我通常使用的几种方法:

  1. 优化操作:这很少奏效。我不会推荐任何能够更快地解析 json 的一流库
  2. 改变您的逻辑:如果目的是保存和加载数据,您可能想尝试其他方法,例如将对象存储到二进制文件中。
  3. 线程和回调,或某些 Web 框架中的延迟对象。对于 web 应用,有时操作时间比请求等待的时间长,我们可以在后台进行操作(有些情况是:压缩文件,然后将 zip 发送到用户的电子邮件,通过调用另一个第三方的 api 发送短信。 ..)

【讨论】:

    猜你喜欢
    • 2015-02-15
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-04-04
    • 1970-01-01
    • 2018-08-06
    • 2015-08-27
    • 2014-10-19
    相关资源
    最近更新 更多